Zniszczoną twierdzę w 1567 przejął Wysoki Kanclerz Królestwa Czech Vratislav II z Pernštejna. Nowy właściciel polecił zbudować nowy pałac dla swej małżonki Marii Manrique de Lara. Zbudowano go w latach 1568–1581, a pracami kierował włoski architekt Giovanni Battista Aostalli. Pomagał mu także jego brat Oldřich (Ulrico). W roku 1649 zamek przejęli Trauttmansdorffovie, którzy dokonali drobnych zmian barokowych wewnątrz jak i na zewnątrz. W roku 1719 pałac przeszedł większą rekonstrukcję w stylu barokowym, za którą odpowiedzialny był architekt František Maximilián Kaňka. Duże zmiany, które dotyczyły wnętrza pałacu, miały miejsce w latach 1792–1796 (kiedy właścicielami zamku był ród Wallenstein-Wartembergów), jednak architekt Jan Kryštof Habich zachował renesansowe szczyty. Wówczas powstał także teatr, a jego dekorację malarską wykonał malarz wiedeńskiego dworu Josef Platzer. Od tego czasu nie było już żadnych zmian dotyczącej struktury, projektu czy dekoracji zamku. W roku 1855 właścicielami zamku zostali Thurn-Taxisovie.
Na terenach zamkowych kręcono następujące filmy: Filozoficzna opowieść (1937), Młode lata (1952), Zapomnij o Mozarcie (1985) i Szkarłatny kwiat (1999).