Kalwaria pod opieką reformatów przeżyła w 1654 najazd wojsk szwedzkich. Sprofanowano wówczas kaplice, zniszczono drzwi i pocięto obrazy. W latach 1656 i 1677 wraz z ludnością Pakości zakonnicy doświadczyli epidemii. Dwóch z nich, którzy schronili się w kaplicy Ogrodu Oliwnego, zmarło 3 sierpnia 1656. W pobliżu kaplic miała miejsce jedna z potyczek konfederatów barskich z oddziałami rosyjskimi 19 marca 1769 − bitwa pod Pakością. Polegli Polacy zostali pochowani w pobliżu Kaplicy Wniebowstąpienia. Franciszkanie opiekowali się kalwarią pakoską aż do kasaty, którą przeprowadził rząd pruski w 1832.
Akt rządowy poprzedziły działania zmierzające do osłabienia sił katolickich na terenie protestanckiego Królestwa Prus. W 1808 zabroniono przyjmowania nowicjuszy. W momencie zamknięcia klasztoru w Pakości przebywało w nim trzech zakonników. Gwardian o. Nepomucen Zdybaliński oraz kaznodzieja o. Florentyn Okolewski 10 maja 1840 udali się do Strzelna, gdzie zmarli. Od 1839 kalwaria była zarządzana przez miejscowego proboszcza diecezjalnego. W dobie porozbiorowej kontynuowano odprawianie kalwaryjskich nabożeństw. W 1841 abp gnieźnieński Marcin Dunin w Pakości dziękował za uwolnienie z więzienia. W roku 1864 obchody kalwaryjskie przybrały wymiar patriotyczny.