Die Geroldsecker, die ihren Namen vom Berg Geroldseck annahmen, stammten ursprünglich aus den Elsaß und gehörten zum Geschlecht der Mortenauer. Friedrich II von Hohenstaufen wollte 1218 die Ortenau nach dem Aussterben der Zähringer in Freiburg neu ordnen. Um den Erben der Zähringer Paroli bieten zu können, benötigte er strategische Stützpunkte, um die Straße vom Elsaß über den Rhein nach Schwaben zu sichern. Da war das mächtige Geschlecht der Mortenauer gerade recht. Der Bau der Burgen Lahr, Schwanau und Hohengeroldseck waren die Folge und dienten gleichzeitig zur Expansion der Geroldsecker ins Kinzigtal.
Walter I von Geroldseck (nach 1200 -1277) errichtete die Burg Hohengeroldseck mit den Erträgen aus den Silbergruben in Prinzbach. Nach dessen Tode fand eine Erbteilung unter den Nachfolgern statt. Erbstreitigkeiten und Familienzwiste ließen das stolze Geschlecht dahin sinken. 1634 erlosch das Geschlecht mit Jakob von Geroldseck, Herrschaft und Burg gingen an die Herrschaft von Cronberg und nach deren Aussterben 1692 bis heute an die Fürsten von Leyen.
Die ganze Burganlage wurde durch eine Ringmauer mit einem Vorgraben umgeben. Die Burg war durch eine Zugbrücke zu betreten, man gelangte dann in einen Vorhof, durch ein weiteres Tor in den Zwinger, dem äußeren Burghof. In diesem Bereich konnte ein eventuell eingedrungener Feind schnell besiegt werden, da der nächste Bereich mit einer auf einem 3 m hohen Felsen umgebenen Schartenmauer umgeben war. Durch eine weitere Pforte gelangte man in den weiten Zwinger der Burg- dem äußeren Burghof- mit dem wichtigen Brunnenhaus. Die Wasserversorgung garantierte ein 65 m tiefer ins Urgestein getriebener Brunnen. Der Zwinger umschloss die eigentliche Kernburg, die über eine Treppenanlage zu erreichen war. Diese bestand aus dem Ritterhaus, dem späterem Vorderhaus und dem inneren Burghof.
Das Ritterhaus war vier Geschosse hoch: Unten Keller, Wacht- undVorratsraum. Im zweiten Stock die Räume der Dienerschaft und Küche, dritter Stock Rittersaal und Prunkgemächer, oberstes Stockwerk waren für die Frauen reserviert. Die Stockwerke waren über einen Wendeltreppenturm zu erreichen.
Als Diebold II von Geroldseck seine Raubüberfälle auf fahrende Kaufleute nicht abließ, beschossen die Straßburger 1473 die Burg, allerdings ohne sie erstürmen zu können. Dafür wurde sie schon 1486 vom Pfalzgraf Philipp erneut und diesmal mit Erfolg beschossen. Die Burg musste übergeben werden. Erst 1534 erhielt Gangolf II von Geroldseck nach langen Verhandlungen die Burg zurück und konnte sie wieder Instand setzen. Doch im Jahre 1688 zogen französische Truppen bandschatzend durchs Land. Die Burg sollte für alle Zeiten ausgeschaltet werden, wurde geplündert und in Brand gesetzt, obwohl sie friedlich übergeben wurde. Als die französischen Truppen 1689 nach der Zerstörung der Burg abzogen, ließen sie die Waffenschmiede der Geroldsecker im Litschental unversehrt. Allerdings nahmen sie dem damaligen Schmied der Familie Fehrenbach den Eid ab, keine Waffen mehr herzustellen sondern nur noch Werkzeug.