Pierwszym przełożonym kolegium jezuickiego w Sandomierzu był ks. prof. Sebastian Bobola (1586–1649). W 1630 roku przystąpiono do generalnej przebudowy klasztornego kościoła św. Piotra, który znajdował się w głównym kompleksie kolegium. W tym samym czasie, po przekazaniu bogatego księgozbioru przez ks. Cichockiego, w szkole powstaje biblioteka. W czasie wojen szwedzkich kolegium, jak i całe miasto, zostało zniszczone – spalono gmach szkolny i kościół św. Piotra. Odbudowa z braku środków ciągnęła się latami. Ostatecznie renowację kościoła zakończono w 1677 roku, a kolegium w 1685 roku. Pracami odbudowy kierował rektor ks. Stanisław Wdziemborski. Od północnej strony placu, w miejscu dzisiejszego obniżenia ogrodu, istniał od XVII wieku zwieńczony attyką barokowy budynek seminariumJego rzut znany jest z pomiaru Orłowskiego z lat 1816–1818..