Gegründet wurde die Burg wahrscheinlich im 12. Jahrhundert durch die edelfreien Ritter aus Erlingshofen. Diese nennen sich 1162 erstmals nach ihrer neuen Burg Arnsberg, die alte Burg wird aufgegeben. Ihr Lehensherr in Arnsberg war der Eichstätter Bischof. Aber schon 1192 ziehen sie wieder um, diesmal nach Heideck. Arnsberg verkaufen die Ritter 1305 an das Herzogtum Niederbayern, das es als Pfand unter anderem an die Herren von Laaber und die Fraunhofer ausgibt.
Nachdem die Fraunhofer Arnsberg wiederholt als Stützpunkt für Raubzüge nutzen, greift Herzog Ludwig VII. von Bayern-Ingolstadt 1416 ein und erobert die Burg. Ab 1473 erwirbt der Bischof von Eichstätt seine alte Festung zurück und nutzt sie fortan als Jagdschloss. Obwohl die Kernburg 1663 noch einmal erneuert wird, verfällt sie ab dem 18. Jahrhundert und wird als Steinbruch genutzt. Die Vorburg diente lange als landwirtschaftliches Anwesen und ist heute ein Hotel.
Beschreibung
Die sehr gut erhaltene Vorburg stammt aus dem 15. und 16. Jahrhundert, sie ist auf dem Kartenausschnitt von Apian gut zu erkennen. Ein rechteckiger Halsgraben trennt sie vom Plateau, zusätzlichen Schutz bietet ein Zwinger und ein vorgelagerter Wall. Der Eingang zur Vorburg lag anders als heute leicht rückversetzt an der Südwestecke. Die Brücke mit einfachem Torbogen ist noch intakt, wenn auch vernachlässigt. Die Schlüsselscharten über dem Tor zeigen die Entstehung im 15. Jahrhundert an. In der Vorburg finden sich ein Fachwerkhaus, eine Kapelle und ein Schlossgebäude aus dem Jahr 1568, in dem heute das Hotel untergebracht ist.
Die mittelalterliche Kernburg auf dem Dolomit-Riff über dem Altmühltal muss früher einen wirklich großartigen Eindruck gemacht haben. Die historische Abbildung unten zeigt, dass ein großes Hauptgebäude mit zwei Fensterreihen direkt aus dem Fels zu wachsen schien. Nur ein Türmchen mit Zwiebelhaube ragte aus der Mauer heraus - vielleicht der Turm einer Kapelle. Von diesen Gebäuden sind heute nur noch die Futtermauern zu sehen. Letzter Rest der Kernburg ist der Bergfried, der den Zugang zur Burg deckte. Seine Form ist sehr außergewöhnlich. Auf einem fünfeckigen Grundriss aus großen Dolomitquadern thront etwas auskragend ein runder Turmabschluss aus Buckelquadern.