Ignacy Przebendowski sprzedał pałac w 1766 Annie z Łubieńskich Łętowskiej i Konstancji z Łubieńskich Kossowskiej, a w 1768 całość praw nabył do niego mąż Konstancji podskarbi koronny Roch Kossowski.

W I poł. XIX wieku pałac podupadł i zaczął pełnić funkcje kamienicy dochodowej. Mieściły się tam m.in. gabinet figur woskowych, zajazd, kawiarnia i drukarnia „Gazety Teatralnej”, a także restauracja Gąsiorowskiego, Urząd Kontroli Służących i Trybunał Handlowy. W latach 1818−1830 mieszkańcem pałacu był komendant miasta Michaił Lewicki.

Od 1863 nieruchomość należała do Jana Zawiszy. W latach 1863–1864 pałac został odrestaurowany pod kierunkiem Wojciecha Bobińskiego. Nowy właściciel zgromadził w nim bogate zbiory archeologiczne. Po śmierci Zawiszy pałac stał się własnością jego żony Elżbiety oraz córki Marii.

W 1912 pałac nabył książę Janusz Franciszek Radziwiłł, ordynat na Ołyce i właściciel Nieborowa.

Podczas obrony Warszawy we wrześniu 1939 roku znajdujące się w pałacu dzieła sztuki przewieziono do gmachu Muzeum Narodowego.