19 sierpnia 1784 sanktuarium odwiedził król pruski Fryderyk Wilhelm II. W 1810 król pruski wydał dekret sekularyzacyjny, na podstawie którego majątek klasztoru przejęły władze świeckie. W 1832 dobra klasztorne wraz z kalwarią przekazane zostały biskupom wrocławskim. Franciszkanie powrócili do konwentu 13 sierpnia 1859. W 1866 poświęcono Kaplicę III Upadku Pana Jezusa. Franciszkanie musieli drugi raz opuścić klasztor w dobie Kulturkampfu za rządów Ottona von Bismarcka w lipcu 1875. Gdy nastawienie władz berlińskich do Kościoła katolickiego zelżało, franciszkanie znowu pojawili się na Górze Świętej Anny w 1887. W 1889 wybudowano tzw. Plac Rajski, w latach 1912–1914 Grotę Lourdzką. W 1929 rozpoczęto budowę domu pielgrzyma, w 1938 przejętego przez władze Trzeciej Rzeszy. W czasie II wojny światowej zakonnicy ponownie musieli opuścić klasztor i kalwarię. Powrócili po przejściu linii frontu w 1945. W 1980 kościołowi św. Anny z 1490 nadano tytuł bazyliki mniejszej. W czerwcu 1983 kalwarię odwiedził papież Jan Paweł II. Wraz z pątnikami odprawione wówczas zostały nieszpory.