W czasie potopu szwedzkiego w roku 1656 zamek został poważnie zniszczony. Uszkodzenia zamku opisano w lustracjach z lat 1660-1664, w których stwierdzono, że zamek jest murowany, w dwóch dolnych pomieszczeniach są piece i okna, ale w górnych pomieszczeniach nie ma ani pieców ani okien i że należy położyć nowy dach. Lustracja z 1768 stwierdziła, że zamek jest opuszczony i ulega rujnacji. Opis z 1812 roku wspomina, że zamek ma obwód 84 łokci, zabudowują go domami mieszczanie i Żydzi oraz że zachowało się tam 5 piwnic, które są użytkowane przez władze. Do połowy XIX w. zachowały się jeszcze fragmenty czworobocznej wieży wjazdowej, która stopniowo także została rozebrana.
W Tygodniku Ilustrowanym z 1863 roku opisano zamek:
Architektura Zamek Kazimierza Wielkiego, który zbudowano w latach 1350-1360 na wzgórzu nad Pilicą, składał się z murowanego budynku na planie prostokąta o wymiarach 13 × 31 metra oraz z wieży. Od wschodu zamek ograniczał parów na dole którego biegła ulica Podzamcze. Od południa w obniżeniu biegła ulica Mostowa.