W 1810 roku zamek w Pilicy odwiedził w drodze do Krakowa król saski i książę warszawski Fryderyk August I, ale pałac był w tym czasie zrujnowany i Teodora Kownacka mieszkała w lewej oficynie. Kownacka odsprzedała Pilicę Bankowi Berlińskiemu w 1822 roku, a ten w 1830 roku sprzedał ją Józefie z Przerembskich Skorupkowej. W 1846 roku zawalił się dach pałacu. Zięć Skorupkowej, Zefiryn Ratomski, zaciągnął kredyt pod zastaw majątku w Towarzystwie Kredytowym Warszawskim. Kredytu nie spłacił, w konsekwencji czego TKW przejęło pałac w Pilicy. W 1851 r. pałac kupił na licytacji Christian August Moes z Choroszczy, który przeprowadził remont i znaczną przebudowę wnętrz pałacu.
Pałac Epsteina i Puchały W 1874 r. pałac kupił warszawski przemysłowiec Leon Epstein, który rozpoczął remont pałacu. W latach 1875–1880 pałac otrzymał kostium neorenesansowy, zbudowano dwie oranżerie, przebudowano kordegardę, zbudował w wale twierdzy nową romantyczną bramę z pozornymi strzelnicami, a fortyfikacje ozdobił w stylu romantycznym. W miejsce okładziny kamiennej wprowadzono lico ceglane z elementami neogotyckimi. Zbudowano też nową bramę od północy. W 1880 r. z powodu problemów finansowych i paraliżu Leona Epsteina, rodzina opuściła pałac i przeniosła się do Krakowa.