Okres ten nie był dobry dla Radomia ze względu na zarazę, która wybuchła w mieście w 1622 r., stając się przyczyną śmierci wielu mieszkańców, i pożar z 1628 r., który zniszczył ponad połowę domów. Ogromu zniszczeń dopełnił potop szwedzki oraz najazd siedmiogrodzki, które (w połączeniu z niepewną sytuacją polityczną kraju, powszechnym zubożeniem i brakiem pomocy ze strony Skarbu Państwa) uniemożliwiły powrót miasta do dawnej świetności.

W 1660 po opuszczeniu miasta przez Szwedów i podpaleniu go, pozostało tylko 37 domów i 395 mieszkańców. Jednym z ocalałych po „potopie” budynków jest stojący do dziś dom Gąski, w którym podczas pobytu w mieście stacjonował król szwedzki Karol X Gustaw. Wycofujące się wojska zniszczyły również zamek i znajdujący się poza murami klasztor benedyktynek.

Kolejne lata przyniosły miastu zarazy i pożary jeszcze bardziej pogarszając jego stan i umniejszając znaczenie. Jedynie raz do roku zjazd szlachty z całego kraju na sesje Trybunału Skarbowego chwilowo ożywiał mozolnie podnoszące się z ruiny miasto.