Upadek zamku Poważnych zniszczeń na zamku dokonano podczas walk z konfederatami barskimi. W 1789 roku Sejm Czteroletni postanowił przejąć dobra ziemskie biskupstwa krakowskiego i zamek przeszedł na własność państwa, w związku z czym wykonano ostatni inwentarz wskazujący, że zamek jest poważnie zrujnowany. W 1791 roku brama wschodnia została zniszczona przez pożar. Po rozbiorach zamek przeszedł na rzecz państwa austriackiego, które ulokowało w nim lazaret i urządzało zabawy dla ludności. Podczas jednej z nich na zamku wybuchł pożar, który zniszczył pozostałości zabudowy i ruchomości w tym portrety biskupów. Ostatni lokator opuścił zamek w 1812 roku, a ruiny zaczęto rozbierać na materiał budowlany. Zbudowano z nich m.in. karczmę i fabrykę fajansu Sunderlanda.
Pod koniec XIX wieku w celu ochrony pozostałości zamku teren zakupił Tadeusz Lubomirski i przekazał Towarzystwu Opieki nad Zabytkami Przeszłości. Pomimo tego okoliczna ludność nadal korzystała z zamku jak z rezerwuaru materiału budowlanego.