Plany te przerwała jednak śmierć rektora o. Franciszka Koźmińskiego, a następnie kasata zakonu jezuitów.
XIX-XX wiek W 1773 r. w wyniku sekularyzacji szkolnictwa po utworzeniu Komisji Edukacji Narodowej i likwidacji zakonu jezuitów na mocy brewe kasacyjnego Klemensa XIV budynek przejęto. W listopadzie tego roku ostatni rektor kolegium, o. Rafał Skrzynecki, przekazał ordynariuszowi biskupa krakowskiego klucze do kompleksu budynków znajdujących się przy ul. Grodzkiej. Wszystkie nieruchomości oficjalnie należały od tego czasu do Komisji Edukacji Narodowej, której przedstawiciele przez dłuższy czas nie mogli podjąć decyzji o ich dalszym przeznaczeniu. W 1774 r. postanowiono budynek kolegium przeznaczyć na przytułek dla ubogich księży – byłych jezuitów. Niedługo później podjęto decyzję o rozbiórce niektórych budynków gospodarczych znajdujących się w sąsiedztwie kolegium. Wyburzono między innymi młyn oraz browar. W 1786 r. budynek dawnej szkoły przekazano zakonowi cystersów, ci jednak niedługo później zmuszeni zostali do opuszczenia kolegium. W międzyczasie część zabudowań przejęło wojsko austriackie, które urządziło tam m.in. magazyny i lazaret.