W 1838 roku jego syn Wacław Gutakowski dokonał zamiany terenów wsi Olszewnica, Krubin, Janówek i Góra na tereny w piotrkowskim i tym samym pałac przeszedł na własność państwa, a następnie został przeznaczony na siedzibę prawosławnych archirejów, w których posiadaniu znajdywał się do I wojny światowej.
Podczas I wojny światowej (1914–1918) w 1915 roku pałac został uszkodzony w wyniku ostrzału.
Od 1933 roku w odrestaurowanym budynku działała "Państwowa Niższa Szkoła Rolnicza Żeńska w Willi Górze", która od 1937 roku po przekształceniu nosiła nazwę "Państwowa Szkoła Przysposobienia Gospodyń Wiejskich w Willi Górze".
Podczas II wojny światowej pałac spłonął i nie został już odbudowany. Jego teren przejął Zakład Doświadczalny Polskiej Akademii Nauk, który doprowadził do dewastacji park i najbliższe otoczenia pałacu. Obecnie pałac znajduje się w stanie daleko posuniętej ruiny.