Trudne czasy dla klasztoru nastały z nadejściem potopu szwedzkiego oraz wojny północnej. Na początku XVIII w. klasztor toczył też spór z biskupem włocławskim o jurysdykcję nad klasztorem, zakończony korzystną dla klasztoru decyzją audytora papieskiego. W wyniku pierwszego rozbioru Polski klasztor znalazł się pod zaborem pruskim, a w 1819 liczący 14 zakonników konwent został skasowany przez władze pruskie. Kościół cysterski zamieniono na parafialny, użytkowany wspólnie przez katolików i ewangelików. Zabudowania klasztorne po 1819 roku zostały przeznaczone na więzienie, a młyny nad Brdą dostały się w prywatne ręceW Bydgoszczy mamy Młyny Rothera. Koronowo miało Młyny Królewskie.

Architektura kościoła i klasztoru

Budowę kościoła rozpoczęto w 1289. Za twórcę projektu uważa się mnicha Theodricusa. Kościół wzniesiony został z cegły w stylu gotyckim jako trójnawowa bazylika z transeptem i dwoma rzędami kaplic. Budowę kościoła prowadzono w trzech etapach, z czego dwa pierwsze miały miejsce w XIII i XIV w., a trzeci na przełomie XVII i XVIII w., kiedy to opat Ignacy Bernard Gniński (1686-1706) doprowadził do przebudowy wnętrza kościoła ze stylu gotyckiego na barokowy.