Dom został odbudowany do 1775 r., gdy nabył go kupiec Christian Wilhelm Schulz za cenę 2,6 tys. talarów. Odbudowa musiała się odbyć kosztem zaciągniętych pożyczek, gdyż mimo wysokiego oszacowania domu, kupiec Schulz zapłacił za niego jedynie 400 talarów, a następny nabywca radca Sądu Głównego von Husarzewski w 1790 r. kupił go już za 1,45 tys. talarów. Do końca XVIII wieku właścicielami byli handlarze nieruchomościami. Byli to kolejno: Jan Gottlieb Rump (1792–1793), Jan Gabriel Oppermann (1793–1798) oraz kontroler kasy Urzędu Akcyzowego Jan Daniel KranzDrygałowa Waleria: Kamieniczki nr 4 przy ulicy Jezuickiej. [w.] Kalendarz Bydgoski 1968..
Od początku XIX wieku po 1839 r. właścicielem domu był garbarz Fryderyk Wilhelm Kutzer, a po nim Luiza Adler – jedna z pierwszych dam Bydgoszczy pod zaborem pruskim, wdowa po radcy regencyjnym i właścicielu Gorzyszkowa, które później, od ich nazwiska, nazwane zostało „Adlershorst”Od słowa Adler, oznaczającego Orła, pochodzi też nazwa ulicy Orlej na Szwederowie.. Jako współwłaścicieli dopisano jej dzieci: referendarza regencyjnego Carla Augusta oraz nieletniego wówczas Fryderyka Wilhelma, który był późniejszym projektantem kościoła św. Apostołów Piotra i Pawła na Placu Wolności.