Zostały osadzone zakony dominikanów, dominikanek, franciszkanów obserwantów, bernardynów, pijarów i marianów (1677), a samo miasto w całości przeznaczone dla katolików (zabroniono osiedlać się w nim Żydom). Po śmierci Wierzbowskiego nastąpił stopniowy upadek. Pod koniec i na początku większość kościołów i kaplic została rozebrana, a na początku uchylono zakaz osiedlania się Żydów, którzy w krótkim czasie stali się największą grupą wyznaniową w mieście. Góra Kalwaria wyrosła wtedy na jedno z ważniejszych w Polsce centrów chasydyzmu prowadzone przez osiadłych tu cadyków Alterów (od 1859). thumb|600px|center|Dawne kramy (jatki) w Górze Kalwarii W latach 1867–1879 siedziba powiatu, 1883–1919 pozbawiona praw miejskich.
Do II wojny światowej w Górze Kalwarii istniała Główna Szkoła Straży Granicznej oraz stacjonował 1 pułk artylerii najcięższej (pan).
W 1940 Niemcy utworzyli w mieście getto dla ludności żydowskiej. Przebywało w nim ok. 3500 osób. Getto zostało zlikwidowane w lutym 1941. Większość jego mieszkańców wywieziono do getta warszawskiego, a część rozstrzelano.