XVIII i XIX w. W 1783 Jerzy Marcin Lubomirski sprzedał zamek. Jego nowym właścicielem został podkomorzy krzemieniecki Mikołaj Piaskowski. Jednak ani on, ani kolejni właściciele (m.in. Osławscy, August Zawisza, Feliks Ćwirko-Gotycki i Paulina Wiktoria Zieleniewska) nie byli w stanie utrzymać zamku. Sprzedali całe wyposażenie (nawet marmury zostały zdjęte ze ścian), a zamek został opuszczony i popadł w ruinę, służąc jako zasoby surowca budowlanego.
XX w. W 1931 zamek został zakupiony przez warszawiaka Leona Kozłowskiego. Wyremontował on tylko dwa pomieszczenia w baszcie, ale – co ważniejsze – powstrzymał wandali. Odtworzył na zboczu południowym zamkową winnicę, a na płaskowyżu, otaczającym ruiny rezydencji Firlejów, założył sady oraz zagospodarował przyzamkowy park. W końcu II wojny światowej zamek doznał dodatkowych zniszczeń z powodu ostrzału artyleryjskiego. Po wojnie zamek z przylegającymi do niego gruntami był majątkiem zbyt małym, by objęła go nacjonalizacja w ramach uchwalonej reformy rolnej. W efekcie Kozłowski był jedynym w bloku wschodnim właścicielem zamku. W 1975 obiekt został zakupiony przez Muzeum Nadwiślańskie i od 1993 jest stopniowo remontowany.