Po śmierci Józefa Karola Lubomirskiego gmach stał się własnością rodziny Sanguszków. W 1721 i 1727 był podarowywany (z problemami natury prawnej) królowi Augustowi II Mocnemu, zaś około 1733 ponownie znalazł się w rękach Sanguszków. W 1750 został zakupiony przez Henryka Brühla, pierwszego ministra króla Augusta III Sasa. Z jego inicjatywy w latach 1754–1759 przeprowadzono kolejną przebudowę gmachu. Autorami projektu byli dwaj architekci: Joachim Daniel Jauch i Johann Friedrich Knöbel. Przebudowa nadała fasadom gmachu styl rokokowy. Podczas prac podwyższono korpus główny do wysokości dwóch pięter i zwieńczono go wysokim dachem mansardowym. Oprócz tego nad głównym wejściem zbudowano balkon, a także zlikwidowano wnęki z rzeźbami na fasadzie przy jednoczesnym zastąpieniu ich oknami. Fasada od strony ogrodu otrzymała klasycyzującą kolumnadę. Na miejscu budynku wjezdnego zbudowano reprezentacyjną bramę, ponadto po obu stronach dziedzińca stanęły dwie piętrowe oficyny. Wnętrza pałacu wyposażono w wiele sprzętów sprowadzonych z Drezna. thumb|left|Elewacja pałacu w 2. połowie XVIII wieku Po śmierci Brühla pałac odziedziczył jego syn, starosta warszawski Alojzy Fryderyk Brühl. Gmach został wynajęty ambasadzie Rosji, a w późniejszym okresie zakupiony przez księcia Adama Ponińskiego.