W czasie potopu szwedzkiego Iwaniska zostały splądrowane, a następnie doszczętnie spalone przez oddział kozaków Jerzego Rakoczego. Jak pisał później Aleksander Janowski w swych „Wycieczkach po kraju (II)” ...przybywający tu Karol Gustaw nie mógł przyjąć uroczyście, jak zamierzał, swego drapieżnego sprzymierzeńca Jerzego Rakoczego ks. Siedmiogrodu. Spotkanie więc odbyło się 11 kwietnia 1657 r. w pobliskiej wsi Modliborzyce. Po tej klęsce miastu nie udało się już odzyskać dawnego znaczenia. W latach 1662–1663 Iwaniska miały zaledwie 50 domów i 416 mieszkańców. W 1674 r. liczba mieszkańców była jeszcze mniejsza i wynosiła 311 osób.
Iwaniska od Ossolińskich, przechodząc przez różne ręce stały się własnością rodziny Sołtyków. Według spisu z 1827 r. w mieście było 167 domów i 1088 mieszkańców. W 1869 r., po powstaniu styczniowym, Iwaniska utraciły prawa miejskie.
Aleksander Janowski tak opisywał w 1900 r. tę „ubogą mieścinę” w swych „Wycieczkach po kraju”: ...osada pow[iatu]. Opatowskiego, gub[erni]. Radomskiej, 2402 mieszkańców, w czem 46 % katolików i 53,9 % żydów. Osada leży u źródeł rzeczki Klimontówki, posiada stary kościół stawiany w 1403 r. (...).
W 1914 r. doprowadzono do wsi linię wąskotorową z Bogorii. Stanowiła ona część Jędrzejowskiej Kolei Dojazdowej. W 1959 r.