Przez kilkadziesiąt pierwszych lat jezuici korzystali z budynków zastanych przez poprzednich właścicieli. W 1651 roku rozpoczęto wyburzanie starego pałacu senatora Ocieskiego i położono fundamenty pod nowy budynek – prace przerwał jednak potop szwedzki i związane z nim problemy finansowe zakonu. Budowę wznowiono – zmieniając konepcję architektoniczną – w 1668 roku, a kolegium ostatecznie wzniesiono dwanaście lat później. Na fasadzie budynku umieszczono tablicę upamiętniającą wsparcie budowy kamienicy przez biskupa Andrzeja Trzebickiego herbu Łabędź. Również po śmierci biskupa-mecenasa kolegium ciągle rozbudowywano, pomimo licznych protestów ze strony Akademii Krakowskiej i jej studentów z pobliskiej Bursy Prawników. Często musiano także naprawiać zniszczenia budynku spowodowane katastrofami naturalnymi. W 1703 r. gwałtowny wicher zerwał z kolegium dach, a w 1719 budynek niemal doszczętnie spłonął w pożarze. Prace remontowe pod kuratelą rektora o. Jerzego Gengella przebiegły w wyjątkowo szybkim tempie i już w sierpniu 1720 r. w kolegium można było znów swobodnie pracować. Następnie przystąpiono do dalszych prac: w 1735 r. wybrukowano dziedzińce, a następnie wzmocniono mur otaczający działkę. W latach 60. XVIII w. jezuici wykupili część podupadającej wówczas Bursy Prawników w celu dalszej rozbudowy kolegium.