Na przełomie XVI i XVII w. całe założenie otoczono wałem ziemnym. Około 1621 roku fortyfikacje zmodernizowano i dobudowano bastiony. Za czasów arcybiskupa Jana Wężyka przebudowano wieżę bramną, wieńcząc ją nowym hełmem i instalując na niej zegar.
Podczas Potopu polska załoga zamku poddała go Szwedom w dniu 4 września 1655 roku. Karol X Gustaw po zwiedzeniu zamku podjął decyzję o przekształceniu go w twierdzę, której komendantem został Joachim de Radike. Wg częściowo zrealizowanego projektu miały powstać cztery narożne bastiony, piatta forma od północy, dzieło rogowe od północy i rawelin od południa. W kwietniu 1656 roku wojska polskie zajęły miasto i bez powodzenia oblegały wzmocniony bastionami przez Szwedów zamek i broniony przez załogę pod dowództwem Izraela Riederhielma. Kolejne oblężenie, także bez powodzenia, prowadził w maju 1656 roku Jerzy Sebastian Lubomirski. W sierpniu 1656 roku Karol X Gustaw i elektor Fryderyk Wilhelm zatrzymali się na zamku i wzmocnili załogę pod dowództwem pułkownika Torneskioldha.W 1657 roku Szwedów wsparli Węgrzy Jerzego Rakoczego. W czerwcu 1657 roku Szwedzi po opuszczeniu zamku wysadzili go w powietrze. W latach 1666–1670 zamek został odbudowany przez prymasa Mikołaja Prażmowskiego.