Książę Antal Grassalkovich III zmarł w 1841 bez męskiego potomka, co oznaczało wygaśnięcie męskiej linii rodu Grassalkovichów. Jednak jeszcze w czasie zarządu przymusowego pałac odziedziczyła żeńska linii rodu Viczay.
W 1849 pałac był wykorzystywany krótko, jako baza oddziałów rewolucjonistów węgierskich pod wodzą Lajosa Kossutha.
W 1850 posiadłość kupił bankier György Sima, który z kolei w 1864 sprzedał ją bankowi belgijskiemu.
Pałac jako rezydencja dynastii węgierskiej thumb|Rodzina królewska przed pałacem, sztych z 1869 W 1866 pałac był wykorzystywany jako lazaret dla rannych żołnierzy walczących w wojnie prusko-austriackiej. W tym czasie zamek odwiedziła po raz pierwszy austriacka cesarzowa Elżbieta i wyraziła życzenie nabycia posiadłości, na co jednak, ze względu na koszty wojny, nie uzyskała zgody cesarza. W roku 1867 doszło do zawarcia ugody austriacko-węgierskiej, w wyniku której powstały dualistyczne Austro-Węgry. 15 marca rząd złożył przysięgę wierności Franciszkowi Józefowi I a 8 czerwca tego samego roku w Budzie odbyła się koronacja Franciszka Józefa I na "Apostolskiego Króla Węgier".