Chociaż jej syn Kasper (Gašpar) Sirmiensis-Súľovský skutecznie obronił jeszcze zamek przed oddziałami kuruców Franciszka II Rakoczego, jednak już w 1703 r. mówiło się o złym stanie budowli.
W 1730 r. na zamku jeszcze zatrzymywało się wojsko, a obiekt pełnił funkcje obronne. Wkrótce jednak stan techniczny zamku zaczął się pogarszać. Rodzina Sirmiensis-Súľovskich, mieszkająca w dworach we wsi Súľov, nie prowadziła niezbędnych remontów. Jeszcze w 1739 r. jeden z członków tej rodziny miał korzystać z pokoi i kuchni na zamku, a w tym samym czasie miał w obiekcie mieszkać również strażnik i gajowy w jednej osobie. W latach 1752–1759 członkowie rodu opróżnili jednak zamek z wszystkich ruchomości i od tego czasu nikt w nim już nie mieszkał. W 1780 r. obiekt przestał być strzeżony. Silne trzęsienie ziemi 15 stycznia 1858 r. poważnie uszkodziło zamek, który po nim nie został poddany już odbudowie. Nie zabezpieczony przed dalszą degradacją ponownie spłonął. Do dziś zostały po nim jedynie fragmenty murów przylepione do skalnych ścian i nieliczne inne ślady.