W 1945 w pałacowych budynkach mieściły się biura NKWD. Natomiast podczas wojny, jak również w okresie powojennym, większość ze zbiorów dzieł sztuki oraz mebli i przedmiotów codziennego użytku, które przedstawiały jakąkolwiek wartość, zrabowano i rozkradziono. Nieliczne ocalałe eksponaty, jak portrety czy meble, zostały przekazane do Muzeum Warmii i Mazur w Olsztynie, a cenne zbiory biblioteki rodowej von Dönhoffów przetransportowano na Uniwersytet w Toruniu.

Założenie pałacowe wojnę przetrwało w całkiem dobrym stanie, lecz z powodu braku właściciela aż do lat 50., jego stan systematycznie się pogarszał. Od 1954 do 1991 w pałacu mieścił się, zarządzany przez Wojewódzki Ośrodek Postępu Rolniczego w Bęsi, Ośrodek Szkolenia Rolniczego, który szkolił traktorzystów. W miarę możliwości dbano także o zabytek, m.in. przeprowadzając w 1975 jego konserwację. Natomiast w budynkach folwarcznych znajdowały się pomieszczenia użytkowane przez tutejszy PGR, który prowadził w nich mieszalnię pasz.