Siedzibą Muzeum Ziemi są dwie zabytkowe budowle położone w centrum stolicy, niedaleko placu Trzech Krzyży, przy Al. Na Skarpie 20/26 i 27. Wraz z przyległymi terenami ekspozycyjnymi na otwartej przestrzeni znajdują się w obrębie dawnego zespołu ogrodowego „Na Górze”.
Twórcą pierwotnego projektu zabudowy był architekt Szymon Bogumił Zug (1733–1807), który stworzył w tym miejscu rezydencję ogrodową dla brata króla, księcia Kazimierza Poniatowskiego. W roku 1781 na zboczu wąwozu zakończono budowę reprezentacyjnego budynku z dwiema dużymi salami i okazałą główną elewacją zdobioną kolumnadą („pałac Letni”). Nieruchomość ta zmieniała kilkakrotnie właścicieli; ok. 1850 roku nabyli ją Braniccy. Wówczas przebudowano wcześniejsze obiekty na istniejący Biały Pałacyk na Frascati. Obiekt ten, poważnie zniszczony w trakcie II wojny światowej został odrestaurowany przez Biuro Odbudowy Stolicy z przeznaczeniem na Muzeum Ziemi.