W czasie potopu szwedzkiego księstwo siewierskie nominalnie pozostawało neutralne, jednak na zamku przebywały oddziały hetmana Stefana Czarnieckiego, co skłoniło Szwedów do jego zajęcia.
Faza barokowa mały|Ruiny zamku przed rewitalizacją, widok od strony bramy głównej, 2005 r. Kolejnej przebudowy dokonano w latach 1681-1699 z inicjatywy biskupa: Jana Małachowskiego poprzez przebudowę skrzydła wschodniego i budowy w nim kaplicy, a także budowy arkadowej loggi i kuchni od północy. Prace te dokończył Konstanty Felicjan Szaniawski. W czasie tej przebudowy basztę przy bramie podwyższono i zwieńczono barokowym hełmem z cebulą i latarnią. Po pożarze w połowie XVIII w. biskup Kajetan Ignacy Sołtyk wyremontował wieżę. Forma ogólna nadana wówczas kompleksowi zachowana została w ruinie do dzisiaj.
W 1790 r. Sejm Wielki zlikwidował księstwo siewierskie wcielając je do Rzeczypospolitej. Opuszczony w 1790 r. przez księcia biskupa Feliksa Pawła Turskiego zamek od tamtej pory popada w ruinę. Jeszcze w czasie wojen napoleońskich był wykorzystywany militarnie. Jednak od 1807 r. przez cały XIX wiek pozostał niezamieszkany.