Inicjatorem przebudowy był rektor seminarium Jan Drews, profesor teologii, ale także architekt, teolog i filozof. W 1703 roku, w czasie III wojny północnej, w Kamiennym Domu rezydował kolejny król szwedzki Karol XII. Po przebudowie był to okazały czterokondygnacyjny gmach, ozdobiony okazałym szczytem. Wówczas na frontonie umieszczony został napis o fundacji papieża Grzegorza XIII oraz atrybuty władzy papieskiej – tiara i klucze papieskieJan Wiśniewski, Edukacja misjonarzy dla krajów protestanckich w Alumnacie Papieskim w Braniewie (1579-1798), 2016.. Szczyt tylny, od północy, ozdobiono monogramem IHS oraz kluczem świętego Piotra jako wskazówką zegara słonecznego.
Z czasem zapotrzebowanie na misjonarzy zaczęło maleć, a absolwenci alumnatu podejmowali w diecezji warmińskiej. Po 220 latach funkcjonowania, w 1798 alumnat został zlikwidowany, a dom będący jego własnością przejęła diecezja warmińska, przeznaczając go na pomieszczenia seminarium diecezjalnego. Wolne pokoje władze kościelne wynajmowały profesorom liceum i gimnazjum. W 1932 w Braniewie wybudowany został nowy gmach, do którego przeniosło się seminariumStanisław Achremczyk, Alojzy Szorc Braniewo, 1995, s. 235–236.. Gimnazjum Hozjanum przemianowano na Szkołę im.