Na początku 1821 roku w pałacu odbyła się potajemna uroczystość wprowadzenia polskich poetów romantycznych, Seweryna Goszczyńskiego i Józefa Bohdana Zaleskiego, do Związku Wolnych Polaków. Scenę tę opisał Goszczyński w wierszu Rejtan (1824). W roku 1823 pałac kupił generał Ludwik Michał Pac, dla którego w latach 1824–1828 został przebudowany według projektu Henryka Marconiego w stylu klasycystycznym. W środkowej części architekt umieścił sześciokolumnowy portyk; zbudował także skrzydła boczne i dwupiętrowe pawilony od strony ul. Miodowej, w miejsce wcześniejszych oficyn, połączone przez trójarkadową, półkolistą bramę. Na potrzeby przebudowy pałacu Pac sprowadził z Berlina rzeźbiarza Ludwika Kauffmanna, który wykonał m.in. płaskorzeźbiony fryz ponad arkadami, umieszczony we wnęce od strony ul. Miodowej. Dzieło zatytułowane „Tytus Flamininus ogłaszający wolność miast greckich na igrzyskach w Koryncie” uchodzi za jedną z najwybitniejszych rzeźb neoklasycystycznych zrealizowanych w Warszawie. Jego autorstwa są również rzeźby wodzów rzymskich zdobiące elewację pałacu, wykonane w latach 1823–1830. We wnętrzach pałacu urządzono Salę Gotycką i Mauretańską.