Die Ersterwähnung der Burg erfolgte 1323, aufgrund archäologischer Untersuchungen wird eine Erstbebauung bereits um 1200 angenommen. Die ersten Herren von Rauenstein waren die Schellenberger. Nach einigen Herrschaftswechseln ging das Schloss 1567 in kursächsischen Besitz über. Das eingerichtete Amt Rauenstein wurde 1596 zu Wolkenstein geschlagen. Um 1630 wurden größere bauliche Veränderungen vorgenommen. Aus dieser Zeit stammt auch der Straßentunnel. Von 1651 bis 1743 war das Schloss in Pachtbesitz der Familie von Römer, die im Schneeberger Raum durch den Silberbergbau zu größerem Reichtum gekommen war. Schließlich wurden 1843 die Herren von Herder, Nachfahren des Dichters und Theologen Johann Gottfried Herder, Besitzer. Nach der Enteignung im Zuge der Bodenreform 1945 diente das Schloss als Kindererholungsheim, seit 1998 ist es jedoch wieder in Familienbesitz und nur noch von außen zu besichtigen.