Generał Pac wziął udział w powstaniu listopadowym, za co w roku 1835 jego majątek wraz z pałacem został skonfiskowany. Przebudowano jego wnętrza pod kierunkiem Stefana Balińskiego. W latach 1848–1875 w budynku mieściła się siedziba Rządu Gubernialnego. W latach 1875–1939 pałac był siedzibą stołecznego Sądu Okręgowego. W grudniu 1922 roku w Sali Kolumnowej odbył się proces Eligiusza Niewiadomskiego. W 1925 roku pod kierunkiem architekta Oskara Sosnowskiego przeprowadzono restaurację pałacu, wyburzając XIX-wieczne przybudówki i schody tarasowe od strony ogrodu.

Pałac częściowo został zburzony podczas II wojny światowej. Odbudowano go w latach 1948–1951 według projektu Czesława Konopki i Henryka Białobrzeskiego, przy czym elewację od strony dziedzińca odbudowano według projektów Marconiego, a elewację ogrodową według zmodyfikowanego oryginalnego barokowego projektu Tylmana z Gameren. Jest obecnie siedzibą Ministerstwa Zdrowia.

Architektura Przed pałacem znajduje się klasycystyczna brama o półkolistym kształcie z fryzem nad dwiema arkadami i niszą pomiędzy nimi.