Pałac został uszkodzony w wielkim pożarze Wilna w 1610 roku oraz w czasie okupacji moskiewskiej. W 1677 roku pałac stał się własnością linii nieświeskiej Radziwiłłów. Katarzyną z Sobieskich, wdowa po Michale Kazimierzu, dokonała przebudowy i remontu pałacu po 1687 roku. Wkrótce pałac przestał być właściwą siedzibą Radziwiłłów, gdyż ci zamieszkiwali przede wszystkim pałac wojewodziński przy ulicy Trockiej. Ponadto pałac był trawiony przez pożary w 1737 i 1748 roku, za każdym razem wymagał remontu. W 1777 roku w pałacu zmieszkała Teofila Konstancja Morawska, córka Michała Kazimierza "Rybeńko", która urządziła pałac według "najnowszych trendów" i umieściła w nim kolekcję sztuki i okazów historii naturalnej, które zebrała podróżując po Europie. Następnymi lokatorami pałacu byli brat Teofilii Konstancji Karol Stanisław "Panie Kochanku" Radziwiłł, a także jego syn Dominik Hieronim Radziwiłł.
Po tym ostatnim pałac odziedziczyła jego córka Stefania, żona Ludwika von Wittgensteina. Pałac służył głównie pod wynajem, wśród lokatorów byli pisarze Jan Czeczot i Tomasz Zan. W 1850 roku pałac zakupił rząd rosyjski na pomieszczenia poczty i telegrafu.