Pałac Gozdzkich-de Nassau jednak wkrótce, bo w 1788 roku, spłonął ponownie. Ocalało jedynie południowe boczne skrzydło, które stało się na długie lata ruiną, zamieszkiwaną przez biedotę. Książę ciągle angażujący się w kolejne przedsięwzięcia polityczne, borykał się z problemami finansowymi i nie podjął się dzieła odbudowy pałacu. Zresztą wkrótce z małżonką wyjechał do Petersburga.
Księżna Karolina zmarła w 1804 roku, wyłącznym jej sukcesorem został mąż, oprócz pałacu w Warszawie w skład majątku wchodziły dobra na Podolu, w tym pałac w Tynnie. Książę Karol de Nassau zmarł w 1808 roku, cały jego i żony majątek przeszedł na ich wychowanicę, poznaną na Krymie, Greczynkę Elżbietę Feloe Ekonom (ur. ok. 1794, zm. w r. 1872), która wyszła za mąż za rosyjskiego notabla Paweł Butiagina (Boutiaguin), a następnie za Aleksandra Cetnera. W 1815 roku Zygmunt Vogel na zlecenie Butiagina podjął się odbudowania pałacu dynasowskiego i ogrodu, który chciał przeobrazić na krajobrazowy, pomysł ten jednak nie został zrealizowany.