Die Gründung der Burg Frauenstein war ein Ergebnis der ersten Kolonisationsphase des Erzgebirges. Nach den 1168 erfolgten Silberfunden von Freiberg rückte das bislang unbesiedelte Waldgebirge zwischen der Markgrafschaft Meißen und dem Königreich Böhmen in das Blickfeld markmeißnischer und böhmischer Interessen. Beide Seiten begannen mit der Anlage einer Reihe von Grenzschutzburgen (u. a. Sayda, Purschenstein, Rechenberg, Bärenstein, Lauenstein, Königstein), um die eigene Interessenssphäre abzugrenzen. Die um 1200 angelegte Burg Frauenstein bildete eine dieser Grenzschutzburgen. Sie hob sich gegenüber den meisten anderen Burgen ab, da sie gleichzeitig die wichtige von Freiberg über den Pass von Klostergrab (Hrob) nach Teplitz (Teplice) führenden Handelsstraße (später Alte Freiberg-Teplitzer Poststraße) schützte und kontrollierte. Die Burganlage befand sich etwa auf halben Weg zwischen Freiberg und der böhmischen Grenze. Möglicherweise stand die Gründung auch im Zusammenhang mit dem angeblich um 1180 erfolgten Raub des Silberschatzes von Markgraf Otto dem Reichen durch böhmische Räuber.

Die Burg (wurde beim Stadtbrand des Jahres 1728 zur Ruine) ist heute die größte Burgruinenanlage Sachsens. 1585–88 wurde neben der Burg ein Schloss errichtet.

Burg (und später Schloss) befanden sich im Besitz der Markgrafen von Meißen bzw. der Kurfürsten von Sachsen, welche die Anlage als Lehen an Vasallen vergab. Im Laufe der Geschichte traten folgende Besitzer über Burg bzw. Schloss und Herrschaft Frauenstein auf (unvollständig):

* 2. Hälfte des 13. Jahrhunderts: Das Geschlecht der von Siden (lat.: de Serico) trat u. a. in Personen der Ritter Johannes und Heinrich von Siden als Burgherren auf. Johannes von Siden nannte sich auch Johannes de Vrowenstein.
* vor 1320–1323 (?): Markgraf Fiedrich der Freidige belehnte die von Ileburgs mit der Burg. Die Belehnung wurde wahrscheinlich aber bereits 1323 wieder gelöst.
* 1329–1426: Die Burg gelangte in den erblichen Lehnsbesitz der Burggrafen von Meißen, welche die Burg ab etwa 1380 als Stammsitz nutzten. Die Stadtrechtsverleihung (1411) ging auf die Funktion als Fürstensitz zurück. 1426 fiel Burggraf Heinrich in der Schlacht bei Aussig. Da er kinderlos war, gelangten Burg und Herrschaft zurück an den Kurfürsten Friedrich den Streitbaren.
* 1428–1439: 1428 wurde Heinrich von Plauen (Hofrichter von Sigismund von Luxemburg) mit der Burg belehnt. Heinrich geriet bald darauf in eine Fehde mit Kurfürst Friedrich dem Sanftmütigen, die 1438 in der Eroberung der Burg und dem Einziehen des Lehens endete.
* 1439–1472: Die Burg wurde als Mittelpunkt des gleichnamigen kurfürstlichen Amtes von verschiedenen Vögten, Amtmännern und Getreuen der Markgrafen von Meißen verwaltet.
* 1473–1647: Das Adelsgeschlecht der von Schönbergs wird mit der Burg und der Herrschaft belehnt. Da die Burg nur einen beschränkten Wohnkomfort bot, ließ Heinrich von Schönberg 1585-88 unterhalb der Burg durch den Baumeister Hans Irmisch ein Schloss im Stil der Renaissance errichten. In der Folgezeit setzt der Verfall der kaum mehr genutzten Burg ein.
* 1647–1873: Die durch den Dreißigjährigen Krieg verschuldeten von Schönbergs sind zum Verkauf des Schlosses gezwungen. Es gelangt wieder in den Besitz der sächsischen Kurfürsten. Diese nutzten es bis 1873 als Verwaltungssitz des gleichnamigen Amtes. Durch die Einrichtung der Amtshauptmannschaft Dippoldiswalde ging die Verwaltungsfunktion 1873 endgültig verloren. Der Verfall der ungenutzten Burg wurde durch Beschädigungen nach dem Stadtbrand von 1728 weiter beschleunigt.