Mieszkał przez kilkanaście miesięcy w pałacu na Ordynackiem pod nr 2874, skąd w październiku 1806 roku na powrót do Pękałowa odjechał i tam wkrótce umarł mając lat przeszło 50.”
W 1820 posiadłość nabył na licytacji sekretarz policji Michał Gajewski, który wyrestaurował pałac i podwyższył go o piętro. Wybudował także oficyny z przeznaczeniem na koszary. W części zabudowań przypałacowych mieściły się targowisko i jatki rzeźnicze.
W czasie powstania listopadowego znajdował się w pałacu szpital wojskowy.
W roku 1858 pałac stał się siedzibą Warszawskiego Instytutu Muzycznego. Instytut ten kontynuował tradycje założonego w 1821 roku Konserwatorium Muzycznego. Uroczyste otwarcie nowej uczelni w pałacu Ordynackim odbyło się 26 stycznia 1861 roku. W Warszawskim Instytucie Muzycznym, zwanym powszechnie „konserwatorium”, wykładali m.in. Apolinary Kątski, Aleksander Michałowski, Stanisław Moniuszko, Tomasz Nidecki, Zygmunt Noskowski, Aleksander Zarzycki, a w latach późniejszych niektórzy z pierwszych wychowanków Instytutu, jak Stanisław Barcewicz czy Ignacy Paderewski.