Po bezpotomnej śmierci ostatniego z rodu Koniecpolskich – Jana Aleksandra, na mocy testamentu Koniecpol przeszedł w ręce krewnych, Aleksandra i Franciszka Walewskich. Bracia Walewscy sprzedali go następnie za bezcen podstawionemu przez Jerzego Aleksandra Lubomirskiego – Aleksandrowi Walewskiemu, miecznikowi sieradzkiemu. W rzeczywistości majątek przeszedł w ręce Lubomirskich herbu Szreniawa bez Krzyża. W 1754 r. dobra koniecpolskie nabył od Lubomirskego Michał Czapski, wojewoda malborski.
Styl klasycystyczny nadała budowli jej gruntowna przebudowa przeprowadzona pod koniec XVIII w. przez Czapskiego, a kontynuowana po jego śmierci przez jego zięcia, Aleksandra Potockiego, późniejszego ministra policji Księstwa Warszawskiego. Wówczas zamieniono pałac na rezydencję magnacką. Zlikwidowano mury obronne i fosę, pozostawiono tylko basztę, która w XIX w. została przebudowana na altanę. Po raz kolejny pałac został poddany pracom budowlanym pod koniec XIX w.
W czasie II wojny światowej, zabudowania pałacowe uległy ogromnym zniszczeniom. 20 stycznia 1945 r. pałac został praktycznie w całości strawiony przez pożar.