W 1798 roku nieruchomość została sprzedana przez rodzinę Karasia, a w 1800 roku stała się własnością Józefy z Walewskich najpierw Brochockiej, potem Witkowskiej. Od tej chwili aż do początku XX wieku wielokrotnie zmieniała właścicieli. Początkowo wytworne apartamenty wynajmowali dygnitarze, arystokracja i bogaci mieszczanie. Z czasem jednak, od połowy XIX wieku pałac zmieniał swój charakter i stawał się zwykłą kamienicą czynszową. W roku 1810 w pałacu urodził się Konstanty Julian Ordon, legendarny bohater wiersza Adama Mickiewicza Reduta Ordona. W 1823 swoją pracownię otworzył tam Ludwik Kauffmann, jeden z najważniejszych klasycystycznych rzeźbiarzy ówczesnej Warszawy, to w niej stworzył większość swoich dzieł, po powstaniu listopadowym zaczął w niej także przyjmować studentów rzeźby. 11 maja 1830 roku odsłonięto przed Pałacem Karasia pomnik Mikołaja Kopernika.
W drugiej połowie XIX wieku na parterze mieściły się sklepy, wciskając się aż na I piętro. W narożniku przez wiele lat działał złej reputacji szynk „Pod Karasiem”. Od połowy 1891 roku do 1913 roku w budynku swoją siedzibę miała redakcja i drukarnia „Gazety Warszawskiej”.