Starsza od kościoła była dawna organistówka, którą zbudowano w zbudowano jako szpital (przytułek).

Według ksiąg kościelnych roku 1818 parafia kazanowska (Kazanów i Dębnica) liczyła 402 wiernych. W roku 1827 przeprowadzono inwentaryzację miasta, w Kazanowie było 83 domy drewniane, murowany kościół i drewniana bożnica, a liczba mieszkańców wynosiła 601 osób, w tym: 205 Żydów. Nie istnieją żadne zapisy dotyczące ustanowienia czwartego jarmarku w dniu św. Marcina. Nie zmieniło to powolnego upadku Kazanowa, zaniechano sobotnich jarmarków, a od połowy XIX wieku targów. Niedługo potem nastąpiła utrata praw miejskich, a ratusz oddano w dzierżawę.

mały|lewo|Zbiorowa mogiła mieszkańców pomordowanych przez hitlerowców 18 marca 1942 r. Podczas II wojny światowej w okolicach Kazanowa miały miejsce działania partyzanckie. 18 marca 1942 w odwecie za zabicie niemieckiego żandarma hitlerowcy dokonali egzekucji mieszkańców Kazanowa i okolic. W lasach przy trasie Kazanów – Kroczów Większy rozstrzelano 16 Polaków i 16 Żydów (w 1945 w laskach za Kazanowem wzniesiono pomnik dla uczczenia pamięci zamordowanych 18 marca 1942 roku). W dniu 11 lipca 1942 żandarmeria niemiecka z Iłży dokonała w Kazanowie i okolicach masowych mordów mieszkańców.