Jako miejsce budowy kolegium fundator wyznaczył grunt miejski usytuowany wzdłuż trasy łączącej rynek z zamkiem, ograniczony na wschodzie i południu przez staw zamkowy. Na potrzeby budowy wypłacał ponadto 8 tys. zł w latach 1584–1587Inwentarze kolegium, s. 513.. Prace budowlane rozpoczęto położeniem kamienia węgielnego pod gmach kolegium 26 czerwca 1586 roku. Trwały do 1599 rokuJ. Paszenda, Kościół Bożego Ciała (pojezuicki) w Nieświeżu, w: Budowle jezuickie w Polsce XVI-XVIII w., Kraków 1999, s. 284.. Wzniesiony gmach stanowił obiekt murowany, dwukondygnacyjny, na planie czworobocznym, z centralnym dziedzińcem i fasadą zwróconą w kierunku północno-zachodnim. Z tyłu kolegium wzniesiono zabudowania gospodarcze i urządzono ogród. Do kasaty Towarzystwa Jezusowego w 1773 roku budowla ta nie ulegała większym zmianom. Równocześnie, w latach 1587–1593 „Sierotka” wzniósł istniejący do dziś kościół farny pw. Bożego Ciała. Architektem był włoski jezuita Giovanni Maria BernardoniJ. Paszenda, Kościół Bożego Ciała, s. 289–292.T. Bernatowicz, Miles christianus et peregrinus, s. 45–55..