Die Burg entstand auf Gebiet des Bamberger Bischofs, der um 1009 einen Ministerialen mit der Burg belehnte. Die Winzerer blieben bis zu ihrem Aussterben 1324 im Besitz der Anlage. Nachher sind Hartlieb und Jakob Puchperger als Besitzer genannt. Dessen Tochter heiratet 1555 Ott Heinrich von Schwarzenberg aus dem Rittergeschlecht, das im fränkischen Hohenlandsberg und später im tschechischen Krummau saß.
Ott Heinrich baute Winzer zum prächtigen Schloss aus, wie es auf dem Stich von Wening um 1700 zu sehen ist. Die Schwarzenberger wurden 1566 in den erblichen Grafenstand erhoben und 1670 gar zu Reichsfürsten, sie besetzten bis in neuere Zeit immer wieder hohe politische Ämter unter anderem für den Kaiser in Wien. Das heutige Familienoberhaupt Karel Schwarzenberg war bis 2013 Außenminister der Republik Tschechien.
Ott Heinrichs Sohn Wolf Jakob verkauft das Schloss Winzer 1603 an Kurfürst Maximilian von Bayern, der es mit Pflergern besetzt. 1744 wird Winzer im Österreichischen Erbfolgekrieg zerstört, danach Nutzung als Steinbruch. Ludwig I. stellt Winzer Anfang des 19. Jahrhunderts unter Denkmalschutz - zu spät, denn die Steine waren zum größten Teil schon zum Bau einer Donaubrücke bei Vilshofen benutzt worden.
Beschreibung
Vom bedeutenden Schloss auf einem Felsen über dem Ort sind heute nur wenige Mauerreste erhalten, darunter Zwingermauern und ein halboffener Mauerturm mit Schlüsselscharten aus dem 14. Jahrhundert.
