Zanim to jednak nastąpiło zamek gościł w swych murach, 17 sierpnia 1683 r., króla Jana III Sobieskiego, który zatrzymał się tutaj na odpoczynek podczas wyprawy na Wiedeń. Wydarzenie to upamiętnione jest wmurowaniem tablicy kamiennej, w sieni przejazdowej na dziedziniec, z okazji trzechsetnej rocznicy tej wizyty.
Wspomniana odbudowa zamku przez biskupa Konstantego Felicjana Szaniawskiego miała na celu przystosowanie obiektu na dom poprawy dla duchownych. Prace w tym kierunku podjęto w latach 20. XVIII w. i kontynuowano w latach 50., już za czasów kolejnego biskupa Andrzeja Załuskiego. Poza niezbędnymi konserwacjami na zewnątrz zamku, przebudowa dotyczyła głównie jego wnętrza, czyli pomieszczeń i ciągów komunikacyjnych – wybudowano m.in. nową klatkę schodową w południowo-zachodnim narożniku budowli. Efekty tej przebudowy są widoczne do dziś, gdyż później nie podejmowano już żadnych poważniejszych prac budowlanych na terenie zamku, ograniczając się co najwyżej do bieżących remontów.