W latach 1777–1783 Antoni Kazimierz Ostrowski podjął generalną przebudowę pałacu. Architektem za nią odpowiedzialnym był Efraim Szreger; ukończył ją Michał Jerzy Poniatowski w stylu klasycystycznym. Korpus główny został wtedy wzbogacony o skrzydła boczne z pawilonami, ryzalit korpusu zyskał zaś czterokolumnowy portyk. Architektami wnętrz pałacu byli Jan Chrystian Kamsetzer i Szymon Bogumił Zug.
Po trzecim rozbiorze pałac przeznaczony był na różne cele. Mieściła się w nim m.in. kamera warszawska i Komisja Rządowa Wojny.
W dwudziestoleciu międzywojennym pałac po remoncie stał się siedzibą Ministerstwa Rolnictwa i Reform Rolnych. Nad wejściem umieszczono napis MINISTERIUM ROLNICTWA.
Pałac został spalony podczas obrony Warszawy we wrześniu 1939. Po wojnie zniszczenia budynku oszacowano na ok. 60%. Pałac został odbudowany w latach 1949–1950 i stał się siedzibą Centralnego Zarządu Muzeów i Ochrony Zabytków.
W 1965 w Sali Kolumnowej pałacu wystawiono trumnę ze zwłokami Marii Dąbrowskiej, a w 1977 ludowca Czesława Wycecha. W 1976 na skwerze przed pałacem odsłonięto pomnik Stanisława Staszica (przeniesiony po 2007 na teren kampusu Szkoły Głównej Gospodarstwa Wiejskiego na Ursynowie).