Der über Gera "blickende" im Kern romanische Bergfried mit seinen 3,70m starken Mauern ist das älteste Bauwerk im heutigen Geraer Stadtgebiet.
Auf dem Terrain der heutigen Schlossanlage befand sich schon in der jüngeren Bronzezeit eine Befestigung, von der noch heute Reste der Wallanlagen südlich der Preußenwiese am Weg Richtung Jagdhof sichtbar sind.¹
Von relativ frühen Bauphasen an der Burganlage zeugt der erhalten gebliebene Bergfried, dessen Entstehung in das 12.Jahrhundert datiert wird. In dieser Zeit lösten die Vögte von Weida die ursprünglich hier ansässigen Edlen von Gera als Verwalter von Reichsgütern im Gebiet der oberen und mittleren Elster ab.¹
Bis zur Mitte des 15.Jahrhunderts sind größere Veränderungen an der Burganlage auf dem Hainberg eher unwahrscheinlich, da die Vögte schon um das Jahr 1200 ihren Sitz nach dem sogenannten alten Schloss im Bereich der heutigen Burgstraße/Florian-Geyer-Straße verlegten. Erst nach den Zerstörungen, denen die Stadt im Sächsischen Bruderkrieg 1450 zum Opfer fiel, begann der dauerhafte Ausbau des Ostersteins zur Residenz der Herren von Gera.¹
Erste sichere Informationen über die Anlage sind in einem Inventar aus dem Jahr 1538 überliefert. Neben verschiedenen Lager- und Wirtschaftsräumen werden u.a. Kanzlei, Hofstube, Harnischkammer, Büchsenhaus, Türkenstube, Kapelle, Badestube, Küche, Frauenzimmer und Herrenstube erwähnt.¹
In den folgenden Jahrhunderten wird der Osterstein schrittweise zum fürstlichen Residenzschloss ausgebaut. Vor allem unter Heinrich XVII. und Heinrich XXX. erhält das Schloss mit dem Ahnensaal, dem Gobelinsaal und dem Marmorsaal repräsentativ ausgestattete Räume. Einen Abschluss finden die Bauarbeiten mit dem unter Heinrich XXVII. durch die Architekten Lossow und Kühne entworfenen und ausgestatteten Westflügel.¹
    
Am 6.April 1945 wurde das Schloss Osterstein von alliierten Bombern zerstört und brannte vollkommen aus.   
In den 50er Jahren bot die Ruine dem Betrachter ein "grauenhaftes Bild", der Westflügel schien noch "gut erhalten", doch repariert wurde nichts, die Reste der Anlage verfielen immer weiter.¹
Am 9.Dez.1962 beseitigte man mit der Sprengung der Gebäudereste des oberen Schlosshofes nach damaligem Sprachgebrauch "einen Schandfleck" .¹
1963-1964 entstand im "Nationalen Aufbauwerk" auf den Trümmern des ehemaligen Schlosses das Terrassencafè Osterstein.
        
Quellen:

¹Sanierungszeitung Gera Nr.6 12/2000