Podczas drugiej wojny światowej pałac był bombardowany, poza tym odniósł niewielkie zniszczenia. W grudniu 1944 zajęły go oddziały Wehrmachtu, które wkrótce zostały zmuszone do odwrotu przez oddziały Armii Czerwonej. Potem pałac został splądrowany i ostatecznie przeznaczony na cele wojskowe. Skrzydło północne obsadziły jednostki armii węgierskiej a południowe – armii sowieckiej. Po 1958 mocno zaniedbany pałac przekształcono w dom starców. Do królewskich komnat wstawiono zwykle, żelazne łóżka a salę balową zdegradowano do roli świetlicy i sali telewizyjnej. Balkony dworu i przejazd przez środkowy ryzalit służyły jako skład węgla, w oranżerii urządzono pralnię a skrzydło południowe przebudowano na mieszkania. Pomimo iż budynek pałacu od 1951 miał status zabytku, nie dbano o jego utrzymanie i budynek zaczął chylić się ku upadkowi. Po 1981 przedłożono pierwsze plany renowacji budynku, których jednak z powodów finansowych nigdy nie zrealizowano. W 1984 zawalił się dach nad skrzydłem Szkoły Jeździeckiej.