Historia Działka, na której pałac został wybudowany, trafiła w posiadanie grafa Vincenta Sándora w 1803. Chociaż z powodu braków w zapisach początek budowy nie jest znany, pewnym jest, że w 1805 urodził się tu graf Móric Sándor zwany „diabelskim jeźdźcem” i będący „atrakcją” Pesztu w latach 20. i 30. XIX wieku, a jednocześnie ostatnim męskim potomkiem rodziny Sándorów. Widoczny na fasadzie rok 1806 (MDCCCVI) jest rokiem oddania do użytku.

Budynek wzniesiono na podstawie projektu Mihály’ego Pollacka i Johanna Amana w stylu klasycystycznym, przypuszczalnie w latach 1803–1806. Oryginalne plany uległy zniszczeniu, ale przetrwał dokładny opis z 1822, który później stał się podstawą kompletnej restauracji przeprowadzonej w latach 2000–2002. Graf Móric Sándor sprzedał go w 1831 rodzinie markiza Palaviciniego, w którego bibliotece znaleziono szereg rysunków i opisów pałacu z lat 10. XIX wieku, których również użyto do późniejszej rekonstrukcji.