Zamku bronił szwedzki generał Kanifer na czele około 200 żołnierzy, jednak w wyniku szturmu fortyfikacje zamku zostały zajęte przez wojska rosyjskie, a generał Kanifer dostał się do niewoli. Wycofując się, wojska cara Piotra I częściowo wysadziły zamek, aby nie oddać go idącej na odsiecz armii szwedzkiej. Po tych wydarzeniach Sanguszkowie nie wrócili do zniszczonych Smolan, a zamek zaczął popadać w ruinę. Z inwentarzy z 1739 i 1742 roku wynika, że wokół zamku istniała fosa z wodą, a w pomieszczeniach stały białe piece z herbem Pogoń. Sanguszkowie posiadali zamek do 2. połowy XVIII wieku.
Po powstaniu listopadowym w 1831 roku ruiny zamku zostały skonfiskowane właścicielom przez Rosjan i otrzymał go rosyjski asesor kolegialny Wasilij Siemionow, który następnie sprzedał zamek Żydom „na cegłę”. W konsekwencji budowla została w większości rozebrana.
W latach 60. i 70. XIX wieku pozostałości zamku przeszły w ręce radcy stanu W. A. Titowa, który zachował ostatnią wieżę i wzmocnił jej fundamenty niewielkimi przyporami.