Cyganowie byli właścicielami zamku do 1637 – po wojnie trzydziestoletniej, jako wyznawcy luteranizmu, musieli ze Śląska uciekać. Wcześniej, w 1617 zamek uszkodził pożar, a później przemieszczające się przez Frysztat wojska. Kupił go katolicki szlachcic Zdeněk Žampach z Potštejna, ale już po dwóch latach sprzedał. Potem krótko władał nim Henryk Wacław Podiebradowicz (czes. Jindřich Václav z Minstrberka; potomek króla Jerzego z Podiebradów), ale budowla nadal niszczała. W 1650 kolejnymi właścicielami zostali hrabiowie Gaschinowie (czes. Gašínové) z Gašína, którzy uczynili z niego siedzibę rodową. Dokonali też remontu oraz niewielkich przebudów w stylu barokowym. W latach 1738–1749 zamek czterokrotnie zmieniał właścicieli. Nowymi, którzy zostali na dłużej, byli hrabiowie Taaffe, ale zamek znowu podupadł, gdyż częściowo zniszczył go kolejny pożar.
W 1792 Frysztat i zamek kupił hrabia Jan Larisch von Mönnich i całkowicie go przebudował w stylu empire. Dodał także nowe skrzydło (tzw. Lottyhaus) i w ten sposób powstał pałac miejski w kształcie litery "U", tworzący jedną z pierzei rynku. W 1804 założyli za zamkiem rozległy park w stylu angielskim. Przy pobliskim kościele katolickim Podwyższenia św.