W 1732 roku wg opisu autorstwa stolnika Benedykta Mikulowskiego zamek był już coraz bardziej podupadającą budowlą ze zniszczonym dachem i w większości nie posiadał już okien, drzwi i pieców, a o jego dawnej świetności świadczyły już tylko marmurowe podłogi i stoły, herby, zachowane obrazy w złocistych ramach i zniszczone malowidła na sufitach. W 1743 roku właścicielem zamku został Józef Potocki. W 1755 roku obiekt wrócił do Ossolińskich, gdy kupił go od wdowy po Potockim podskarbi Franciszek Maksymilian Ossoliński (zm. 1756). Zamek próbował uratować przed ostateczną rujnacją Józef Kanty Ossoliński, wzmacniając wysokimi przyporami mury zamkowe oraz remontując najlepiej zachowane fragmenty mieszkalne. Po jego śmierci w 1780 roku od jego syna Ossolin kupił Franciszek Ledóchowskihttps://zabytek.pl/pl/obiekty/ruiny-zamku-342742/dokumenty/PL.1.9.ZIPOZ.NID_N_26_EN.44191/2.
Po jego śmierci w 1783 roku zamek objął jego syn Antoni Ledóchowski i on to w 1816 kazał wysadzić zamek w powietrze, przypuszczalnie w nadziei odnalezienia rzekomych skarbów. Po wybuchu po zamku pozostała cylindryczna wieża z zachowaną fragmentarycznie attyką, most i brama mostowa.