W II poł. XIX wieku rezydencja była miejscem zamieszkania najmłodszego syna Oskara I, Augusta, oraz jego żony, Teresy. Po śmierci kobiety w 1914 roku pałac czasowo był zamieszkiwany przez syna Gustawa V, Eryka, aż do jego śmierci w 1918 roku.

W 1932 roku pałac Haga został odrestaurowany pod kierownictwem architekta, Ragnara Hjortha, a następnie został oddany do użytku dla syna następcy tronu, Gustawa Adolfa, który zamieszkał tam wraz z żoną, Sybillą Koburg. To właśnie w rezydencji urodziły się ich cztery córki– Małgorzata, Brygida, Dezyderia i Krystyna. Księżniczki stały się popularne jako Hagasessorna (ang. The Haga Princesses, pol. księżniczki z Hagi). W pałacu Haga urodził się również jedyny syn Gustawa Adolfa i Sybilli, Karol Gustaw, który – wraz z siostrami – spędził tam swoje dzieciństwo, a w 1973 roku stał się królem Szwecji.

Wcześniej, w 1966 roku, dziadek Karola Gustawa, Gustaw VI Adolf, przekazał prawo do użytkowania pałacu rządowi szwedzkiemu. Posiadłość miała stać się rezydencją dla gości z zagranicy.