Budynek klasztorny z prostokątnym wirydarzem powstawał w latach 1752–1759. Pracami kierował o. Mikołaj Mastewicz. W 1776 rospoczęto budowę nowego kościoła klasztornego. Trzynawowa świątynia z podziemną kryptą grzebalną została ukończona w 1779. Kościół konsekrował 9 lipca 1780 biskup pomocniczy chełmiński Fabian Franciszek Pląskowski. Fundatorami kościoła byli m.in.: bp Adam Stanisław Grabowski, kasztelanowa chełmińska Elżbieta Grabowska, kasztelanic elbląski Ignacy Grabowski, skarbnik wschowski Stanisław Wałdowski, kasztelanowa bydgoska Bleszczyńska, kasztelanic gdański Józef Czapski, generał Stanisław Skórzewski, rejent pyzdrski Jan Rolbiecki. Stalle, ławki i meble w zakrystii wykonał franciszkanin br. Paschalis Kleszczyński OFM, polichromię br. Paschalis Wołos OFM. W kolejnych latach klasztor wspierał nowy właściciel Zamartego, podkomorzy króla pruskiego Jan Kazimierz Osten-Sacken.