Zamek został zniszczony podczas wojny trzydziestoletniej, a następnie kilkakrotnie przebudowywany, przenoszony i modyfikowany z czasem przez wielu kolejnych właścicieli w pałac złożony z dwóch zestawionych ze sobą budynków z czterema narożnymi wieżami i kaplicą.
W 1834 roku rodzice Sissi (książę Maksymilian Bawarski i jego żona księżniczka Ludwika Wilhelmina Wittelsbacher (córka króla Maksymiliana I z Bawarii) kupili zamek nad jeziorem w rozległej posiadłości leśnej jako letnią rezydencję, którą wyremontowali i rozbudowali. thumb|Pałac księcia Maksymiliana w Monachium
Sissi spędziła tam dzieciństwo ze swoim dziewięciorgiem rodzeństwa, krążąc między ich pałacem, a pałacem księcia Maksymilana z Monachium. Została cesarzową Austrii w 1854 roku, poprzez małżeństwo z cesarzem Franciszkiem Józefem I Austrii, wróciła 24 razy do swojego „Ukochanego Possi”, mieszkającego podczas swoich pobytów w hotelu Imperial w Feldafing.
Zamek pozostał jedną z wielu rezydencji książąt Bawarii (młodszego dziedzica rodu Wittelsbachów) aż do lat 20. XX wieku, kiedy to został opuszczony i zniszczony. W roku 1940 następca książę Emanuel Luitpold z Bawarii (1890 - 1973) zamienił go w szpital wojskowy dla Luftwaffe.