Po 1606 właścicielem zamku był Janusz Ostrogski, który traktował zamek jako swoją główną siedzibę, w związku z czym wzmocnił obronność zamku budując w narożach cztery bastiony ziemne. Po jego bezpotomnej śmierci w 1621, zamek odziedziczył ród Zasławskich. W kwietniu 1657 podczas Potopu szwedzkiego zamek został zdobyty przez sprzymierzone z Jerzym II Rakoczym wojska kozackie Antona Zdanowicza. Wtedy też doszło do wymordowania chroniących się w warowni przed najazdem rodzin szlacheckich. Niedługo po tym na zamku uroczysty obiad zjedli król szwedzki Karol Gustaw i jego węgierski sojusznik Jerzy II Rakoczy. Następnie zamek przeszedł do Wiśniowieckich, po nich Lubomirskich, od których przeszły na Sanguszków. Podczas III wojny północnej zamek w 1702 został zdobyty, a potem sukcesywnie niszczony przez różne armie, co trwało do 1720. W 1709 dobra, w których leżał zamek, stały się własnością Aleksandra Dominika Lubomirskiego. W 1753 właścicielem zamku został kanclerz Jacek Małachowski.