Po kasacie zakonu jezuitów w 1770 roku budynek przeznaczono na gimnazjum niemieckie. W czasach Księstwa Warszawskiego była tu Szkoła Główna Departamentowa (1808–1812), a później (1812–1815) szkoła wydziałowa. W tym czasie szkołę wizytowali m.in. Julian Ursyn Niemcewicz oraz Tadeusz Czacki, a uczył się w niej m.in. Stefan Garczyński – wychowujący się u krewnych Skórzewskich w Lubostroniu poeta i późniejszy przyjaciel Adama MickiewiczaDrygałowa Waleria: Kamieniczki nr 4 przy ulicy Jezuickiej. [w.] Kalendarz Bydgoski 1968.
Po upadku Księstwa i ponownym włączeniu Bydgoszczy do Królestwa Prus, w budynku umieszczono niemieckie, klasyczne gimnazjum królewskie (1817–1878). W 1879 roku budynek został zakupiony przez miasto i stał się siedzibą magistratu.
Projekt przebudowy budynku dla potrzeb magistratu bydgoskiego wykonał w 1878 roku miejski radca budowlany Wilhelm Lincke. Wykonawcami prac byli: Albert Rose w zakresie robót murarskich i Heinrich Mautz ciesielskich. Przebudowa poza zmianą stylizacji fasady zmieniła wewnętrzny układ pomieszczeń, dostosowując go do potrzeb urzędu. Koszt prac budowlanych wyniósł 122 tysiące marek. Uroczyste oddanie gmachu magistratu do użytku nastąpiło 19 grudnia 1879 rokuDerkowska-Kostkowska Bogna: Miejscy radcy budowlani w Bydgoszczy wiatach 1871-1912.