W latach 1909–1910 Toepffer dobudował do pałacu Salę Renesansową, która pomieściła jego prywatną kolekcję dzieł sztuki renesansowej. Główną ozdobą nowej sali była marmurowa kopia posągu Mojżesza dłuta Michała Anioła. Oprócz niej salę ozdobiły portrety członków rodziny. W bibliotece znajdowało się około 5000 książek, w tym rzadkie wydanie dzieł Voltaire'a w formie 92 tomów w skórzanych oprawach. Pokoje mieszkańców i przestrzenie wspólne ozdobiono kopiami obrazów malarzy niemieckich i holenderskich.
W marcu 1945 r. Toepffer wynajął górne piętro pałacu konsulatowi szwedzkiemu, aby uchronić rezydencję od zniszczeń wojennych. Pałac przetrwał II wojnę światową nietknięty, ale po wojnie większość dzieł sztuki została rozkradziona, prawdopodobnie przez żołnierzy radzieckich. Uratowano jedynie posąg Mojżesza, który obmurowano cegłami, a w 1948 r. przekazano do Warszawy. Po rozszabrowaniu budynek zaczął popadać w ruinę: w 1948 r. nie było już dachu, części stropów i ścian zewnętrznych. Pałac przestał istnieć na początku lat 50. XX wieku w związku ze stopniową rozbiórką jego murów w celu pozyskania cegły. Do czasów współczesnych z pałacu zachowały się tylko fragmenty ogrodzenia, schody, kawałki kolumn i betonowa podstawa pomnika Mojżesza.