W 1523 roku dobra włodowickie nabyli Bonerowie. W 1571 roku zamienili oni miejscowy kościół na zbór ariański. Świątynia została przywrócona Kościołowi katolickiemu w 1594 roku, po objęciu majątku we Włodowicach przez wojewodę krakowskiego Mikołaja Firleja. W 1629 roku poświęcono nowy kościół drewniany pod wezwaniem św. Bartłomieja, który uległ zniszczeniu podczas potopu szwedzkiego. W 1703 roku powstał nowy, murowany kościół.

W wyniku postanowień kongresu wiedeńskiego Włodowice w 1815 roku zostały przyłączone do Królestwa Kongresowego, jako część Imperium Rosyjskiego (zabór rosyjski).

W 1870 roku, w wyniku represji po powstaniu styczniowym, Włodowice utraciły prawa miejskie.

W okresie międzywojennym (1918–1939) Włodowice były częścią województwa kieleckiego.

Już na początku września 1939 r. Włodowice zostały zajęte przez wojska niemieckie, co rozpoczęło okupacją niemiecką. Miejscowych Żydów wysiedlono do pobliskiego Myszkowa, w którym utworzono getto. W lutym 1941 r. wysiedlono wszystkich Żydów z Myszkowa do getta w Żarkach. Następnie, w październiku 1942 r. wywieziono ich do niemieckiego nazistowskiego obozu zagłady w Treblince, gdzie zginęli w komorach gazowych.