Ponowna przerwa w działalności przypadła na wojnę polsko-szwedzką w latach 1655–1658.
W wieku XVIII w kolegium wykładano nauki humanistyczne, filozofię, teologię, matematykę, języki grecki i hebrajski. W 1701 wniesiono do Rzymu memoriał o przekształcenie kolegium w uniwersytet. W 1743 zakupili jezuici od miasta plac pod budowę nowego kolegium, które wzniesiono w następnych latach.
W 1780, po kasacie jezuitów, kolegium zostało przekształcone przez władze pruskie w Gymnasium Academikum, a od 1818 w Królewskie Liceum Hosianum, przemianowane w 1912 na Akademię Państwową. W III Rzeszy Hermann-von-Salza-Schule. Szkołę zamknięto tuż przed nadciągającym frontem 6 lutego 1945 rokuRudolf Bultmann, Günther Bornkamm, Briefwechsel 1926-1976, str. 114. W wyniku zniszczeń wojennych budynek popadł w ruinę. Od 1964 kontynuowana jest tu znów nauka, już tylko w zakresie szkoły zawodowej i średniej. Współcześnie obiekt jest siedzibą Zespołu Szkół Zawodowych im. Jana Liszewskiego oraz Muzeum Ziemi Braniewskiej.