W XIX wieku rozebrano trzy pawilony oraz dwa skrzydła, w miejscu których powstała zabudowa kamieniczna. Dominik Hieronim Radziwiłł przekazał pozostałości pałacu Wileńskiemu Towarzystwu Dobroczynności. W czasie I wojny światowej został częściowo zrujnowany i przetrwało tylko północne skrzydło pałacu. W okresie międzywojennym zostały jedynie fragmenty ruin, nie dające wyobrażenia o jego architekturze i przepychu. Dziedziniec został zabudowany prowizorycznymi obiektami. Jeden z pawilonów odrestaurowano w 1984 roku. Od 1990 znajduje się w nim pododdział Litewskiego Muzeum Sztuki. W części pałacu utrzymanego w stylu manieryzmu, a w XVII w. zwanego „Wileńskim Luwrem”, przez długi czas eksponowane było malarstwo zagraniczne (Europy Zachodniej i Środkowej, Rosji) oraz 165 portretów rodziny Radziwiłłów. Niektóre części pałacu nadal pozostają zrujnowane.