Podczas wojny o sukcesję austriacką zamek został zajęty podczas kampanii francusko-bawarskiej, a w 1742 roku był oblegany przez wojska austriackie. Podczas oblężenia został zniszczony most i uszkodzono zegar wieżowy. Pomimo przestarzałych fortyfikacji, które miały dwieście lat, załoga broniła się skutecznie i skapitulowała dopiero z powodu braku żywności. Wkrótce potem fortyfikacje zostały zburzone i zastąpione zabudowaniami gospodarczymi.
W latach 30. XIX wieku książę Johann Adolf II zu Schwarzenberg postanowił zburzyć zamek barokowy i na jego miejscu zbudować nowy zamek w romantycznym stylu neogotyckim. W lipcu 1838 r. powrócił z koronacji brytyjskiej królowej Wiktorii, oczarowany angielskim gotykiem w stylu Tudorów i zapragnął pałacu wzorowanym na tym stylu. Projekt opracował w 1839 r. wiedeński architekt Franz Beer (1804–1861), któremu zaprojektował w tej stylistyce już pałac Hrádek u Nechanice. Franz Beer kierował również pracami budowlanymi przez dwadzieścia lat od 1840 r. aż do swojej śmierci. Nowe budynki, które stoją do dziś, zostały zbudowane w stylu gotyku Tudorów, wzorowanym na angielskim zamku królewskim w Windsorze. Wnętrza zostały ukończone dopiero w 1871 r.