Plan kolegium zakładał kształt litery E, jednak ostatecznie – z powodu niezrealizowania pełnego projektu – przyjął formę litery F. Po śmierci Orsiego w 1676, budowę kontynuował Carlo Lurago, zachowując pierwotne założenia. Prace postępowały powoli, a jezuici, żyjący przez prawie pięćdziesiąt lat w warunkach prowizorycznych, przenieśli się do niedokończonego kolegium dopiero w 1678. Budowa trwała aż do połowy XVIII wieku, a ostateczny kształt kompleks uzyskał w 1750. Architektura kolegium jest surowa, zgodnie z regułami zakonu jezuitów, z wyjątkiem fasady, która nawiązuje do włoskich pałaców wczesnego baroku.
Rozwój i zmiany funkcji W 1773, po kasacie zakonu jezuitów, budynek został zaadaptowany na koszary wojskowe, a w 1778 w skrzydle północnym urządzono szpital. W latach 1843–1844 wojsko kontynuowało prace budowlane, dostosowując obiekt do potrzeb instytucji edukacyjnej. Najważniejszą zmianą była rozbiórka wieży środkowej w 1842 oraz dobudowa trzech wież klozetowych od strony dziedzińca.