Pod koniec XVI wieku zamek opisywano jako opuszczony, jednak w początkach XVII wieku został odnowiony. Około 1600 roku na podzamczu wystawiono murowaną kaplicę ze środków starosty Stanisława Garwaskiego.
W 1611 roku w komnacie nad bramą zamkową osadzono będącego w polskiej niewoli cara rosyjskiego Wasyla IV Szujskiego, który miał też na miejscu swoją rosyjską służbę i rodzinę. Komnata dla cara była wyposażona w cztery okna, piec, kominek i podłogę z cegły. Opiekę nad carem sprawowali starosta gostyniński Jerzy Garwawski i dworzanin królewski Zbigniew Bobrownicki, umożliwiając im swobodne poruszanie się po zamku i najbliższej okolicy, przy okazywaniu należnego szacunku w stosunku do władcy. Cara dozorowało jedynie czterech polskich żołnierzy. Car zmarł w wyniku epidemii 12 września 1612 roku w swojej komnacieZygmunt Librowicz, Car w polskiej niewoli, Petersburg 1904, Warszawa 1994, s. 38.