Po rozpoczęciu prac modernizacyjnych w izbie wielkiej wieży na zamku górnym umieszczono renesansowy piec kaflowy z dwiema wieżyczkami, wmontowano kasetonowy sufit i weneckie okna z herbami królewskimi, a do 1551 roku rozebrano baszty oraz wieżę drewnianą broniącą przejazdu z zamku niskiego na wysoki, na jej miejscu wzniesiono nowy murowany budynek mieszkalny.
Pomiędzy rokiem 1551 a 1560 zamek spłonął i pozostał z niego tylko kościół i wieża wjazdowa. W 1560 roku istniał już jednak na zamku dolnym nowy 3-izbowy dwór starosty Jarosza Koryckiego, jednak zamek nie odzyskał już później wcześniejszej rangi.
Potop szwedzki i degradacja Kolejne zniszczenia miały miejsce w maju 1657 roku podczas potopu szwedzkiego, gdy wojska siedmiogrodzkie Jerzego II Rakoczego spaliły zamek, gotycki kościół na zamku dolnym i miasto. Po odbudowie kościoła zmieniono jego wezwanie na św. Trójcy, jednak zamek pozostał już ruiną, na którego terenie znajdował się już tylko dwór starosty. Kościół w 1851 roku był opuszczony, a po powstaniu styczniowym, od 1871 r. funkcjonował krótko jako cerkiew, lecz po pożarze z 1915 roku w czasie I wojny światowej i zniszczeniu w 1940 r. zakrystii (funkcjonującej jako kaplica) nie został odbudowany.