Po stłumieniu powstania węgierskiego z 1848 w latach 1851–1856 był rezydencją Albrechta Fryderyka Habsburga mianowanego na gubernatora Węgier. To on dał pomysł premierowi, grafowi Gyuli Andrássy’emu, by budynek (w tamtych czasach bardzo reprezentacyjny) państwo węgierskie najpierw wynajęło, a potem w 1881 ostatecznie zakupiło jako stałe miejsce zamieszkania dla kolejnych premierów. Pierwszym jego mieszkańcem był sam Andrassy, a potem (z krótkimi przerwami) do 1945 jego następcy, w sumie szesnastu, chociaż było ich więcej, ale krótko rządzącym późniejszym premierom nawet nie starczyło czasu, by się tu sprowadzić. W pałacu Sándorów w nocy z 2 na 3 kwietnia 1941 na wieść o wkroczeniu wojsk niemieckich na terytorium Węgier w drodze do Jugosławii popełnił samobójstwo premier Pál Teleki.
thumb|left|200px|Zmiana warty Budynek w czasie oblężenia Budapesztu uległ prawie całkowitemu zniszczeniu, południowa jego część się zawaliła, grzebiąc pod sobą wiele niepowtarzalnych dzieł sztuki. To, co pozostało i miało jakąkolwiek wartość, szybko padło łupem rabusiów. Po wojnie dokonano tylko podstawowej rekonstrukcji, mającej na celu zachowanie substancji budynku. Zamiast przywrócenia pierwotnego stanu kierowano się podczas restauracji czy przebudowy praktycznymi celami.