Konfiskata W wyniku poparcia przez Walentego Szwykowskiego powstania styczniowego władze rosyjskie skonfiskowały majątek, a sam właściciel udał się na emigrację. Większość roślin z oranżerii została przeniesiona do pałacu w Puszczy Białowieskiej, książki i inne mienie zostały sprzedane na aukcji, a zabudowania cegielni zdemontowane.
Po Szwykowskich W 1895 roku Walenty Szwykowski sprzedał majątek hrabiemu Włodzimierzowi Klejnmichelowi i wyjechał do Warszawy, gdzie zmarł w 1900 r. Po śmierci został pochowany w jednej mogile z żoną na prużańskim cmentarzu.
W latach 1921–1939 w pałacu mieściło się starostwo powiatu, budynek przetrwał w dobrym stanie.
Podczas II wojny światowej budynek pełnił funkcję siedziby sztabu generała Guderiana oraz internatu dla niemieckich oficerów. Po wojnie w pałacyku mieściła się kawalerka uczelni rolniczej, przedszkole i przychodnia dentystyczna.
Muzeum W 1989 r. rozpoczęto generalny remont budynku. Zakończono go w 1999 r. i odrestaurowany pałacyk wraz z oranżerią przeznaczono na muzeum regionalne, w którym część pomieszczeń pełni rolę muzeum szlacheckiego dworu.