Zdetronizowany władca jadąc do Kurlandii, zadłużył się u wojewody, a gwarancją długu miały być te dwa olbrzymie dzieła kartograficzne, przedstawiające kulę ziemską oraz mapę nieba.
Przez pokoje pałacu w Nieborowie przewinęło się wiele znanych postaci: głowy państw Stanisław August Poniatowski, Fryderyk Wilhelm, cesarz Aleksander I, artyści: Julian Ursyn Niemcewicz, Jan Piotr Norblin, Aleksander Orłowski, Stanisław Trembecki. Już w 1835 Antoni Blank sporządził liczący 145 stron spis dzieł sztuki przechowywanych w galerii nieborowskiej.
Od 1841 pałac należał do syna Michała Hieronima – Michała Gedeona Radziwiłła. W połowie XIX w. zbiory uległy częściowemu rozproszeniu poprzez wyprzedaż, a także wskutek wyjazdu księcia Zygmunta Radziwiłła do Paryża. Kolekcja roślin z oranżerii, będącej własnością cesarską od 1868 posłużyła do wyposażenia Nowej Pomarańczarni w warszawskich Łazienkach. Dawną świetność nieborowskiego pałacu zaczął odbudowywać od 1879 ks. Michał Piotr Radziwiłł. W 1922 z inicjatywy księcia Janusza Radziwiłła pałac został nadbudowany o jedną kondygnację, według projektu Romualda Gutta. Podczas wspomnianej przebudowy pałac zelektryfikowano, zainstalowano łazienki i sanitariaty i w części pomieszczeń założono centralne ogrzewanie. 3 lutego 1945 pałac został znacjonalizowany w ramach reformy rolnej.