Herren "von Stein" sind schon im 12. Jahrhundert in Urkunden fassbar, wegen der Häufigkeit dieser Ortsbezeichnung in dieser Gegend sind aber konkrete Schlüsse schwierig. Erbauer und Namensgeber der Burg ist Graf Altmann II. von Abensberg im Jahr 1232. Sein Enkel Ulrich II. verkauft die Burg 1291 an Herzog Ludwig von Bayern, dem späteren Kaiser.
Seit 1340 Verpfändungen erst an die Hautzendorfer, dann wieder an die früheren Besitzer aus Abensberg. 1446 erobern die Nürnberger die Burg auf ihrem Feldzug gegen die Raubritter der Regensburger Gegend. Der letzte Abensberger Graf Niclas geriet zwischen die Fronten der verfeindeten Wittelsbacher und wurde 1485 auf Befehl des bayerischen Herzogs Christoph dem Starken von Bayern-München ermordet. 1632 Zerstörung der Burg durch die Schweden, seither Ruine. 1911 erwarb der Architekt Georg Wirth die Ruine und ließ dort ein historisierendes Wohnhaus einbauen - typisch für die Zeit. 1991 wurde die Anlage durch die Gemeinde umfassend saniert.
Beschreibung
Man betritt die Anlage heute über eine hölzerne Brücke, die auf das Areal der Vorburg führt. Ihr Eingangsbereich ist mit den Gebäuden aus dem Jahr 1911 überbaut, die einen historischen Eindruck machen sollen, aber der Burgenromantik der Jahrhundertwende entspringen. Dahinter zeigt sich der beeindruckendste Bauteil der Burg: der mächtige Bergfried aus Buckelquadern mit einer Höhe von 18 m. Seine Mauern haben eine Stärke von 3 Metern, der Einstieg ist in 4,5 Metern Höhe. Er schützte den Zugangsbereich zur Kernburg. Leider ist der Turm nicht begehbar.
Dahinter findet sich der Palas, er ist aus Quadern und Bruchsteinen erbaut. Die Gemengelage der Bausteine spricht für einen späteren Bau aus Steinen eines Vorgängerbaus. Dazu wenige Reste von Wehr- und Zwingermauern. Außergewöhnlich ist die Lage eines rechteckigen Turms aus Bruchsteinen außerhalb der Burg am Fuß des Burgfelsens. Er war wohl Teil einer späteren Mauerverbindung zum Ort.