W epoce napoleońskiej zamek został opuszczony i częściowo zniszczony. W końcu XIX wieku budowla została ponownie odnowiona i zamieszkana. W 1813 po śmierci Dominika Radziwiłła zamek został przekazany jego córce Stefanii i jej mężowi Ludwigowi zu Sayn-Wittgenstein-Berleburg, a następnie w ręce ich córki Marii, która poślubiła księcia Chlodwiga Hohenlohe-Schillingfurst. Ich syn Maurice Hohenlohe-Schillingfurst sprzedał zamek w 1895 Mikołajowi Światopełk-Mirskiemu, herbu Białynia. W dniu 19 marca 1919 roku bolszewicy zamordowali w ruinach zamku polskich działaczy. Zginęli: Aleksander Haciski, ksiądz Wincenty Łotarewicz z Iszkołdzi (zwłoki wrzucono do studni zamkowej), Wołodźka i Kurnatowski.
Po odzyskaniu przez Polskę niepodległości i podpisaniu traktatu ryskiego syn Mikołaja Michał Światopełk-Mirski rozpoczął przebudowę zgodnie z planami Teodora Bursche z l. 1923-1924. Rodzina Światopełk-Mirskich miała w posiadaniu zespół obiektów do 1939.