W tym czasie zamek został poważnie zniszczony przez wojska moskiewskie, które spaliły dwa skrzydła rezydencji podczas wojny polsko-rosyjskiej (tzw. Potop moskiewski). Obie te części zamku zostały w ruinie na dwa stulecia.
Po Wołłowiczu zamek należał do Waleriana Kuncewicza, Franciszka Mosiewicza, przeora karmelitów mińskich Eliasza Mosiewicza, Hieronima Żaby, Ignacego Żaby, Antoniego Żaby. Jego córka Olimpia wyszła za Ludwika Korsak-Zaleskiego, który po Powstaniu styczniowym został zmuszony przez zaborców rosyjskich do przymusowego sprzedania majątku. W 1880 roku rosyjski właściciel Gorbaniow wysadził wieże i część ścian, aby uzyskać cegły na budowę karczmyCzesław Jankowski, Powiat Oszmański, cz. 1., Kraków 1896, s. 211.. Po nim właścicielem został jego zięć Jan Jagmin. Jego wnuk Aleksander Jagmin został aresztowany w Holszanach przez Sowietów w 1939 roku. Po 1944 roku w majątku urządzono kołchoz, a na zamku fermę hodowlaną.