Podczas okupacji był miejscem masowych egzekucji, zamordowanych chowano w zbiorowych mogiłach. Podczas tzw. „Akcji Majowej” w 1942 roku, Obersturmführer Heinrich Hamann (szef sądeckiej placówki Gestapo) rozkazał rozstrzelanie na cmentarzu około 400 Żydów pochodzących z sądeckiego getta i pochowanie ich w zbiorowej mogile. Wydarzenia te upamiętnia pomnik odsłonięty 18 czerwca 1959 roku. Lista ludzi przeznaczonych do rozstrzelania została złożona przez Hamanna na podstawie odkrytej w archiwum sądowym listy członków lokalnej Biblioteki Maksa RosenfeldaNowy Sacz Yizkor Books.
Ostatnie pochówki odbyły się w latach 90. XX wieku, łącznie odbyło się tu około 25 tysięcy pogrzebów.
Opiekunem cmentarza był Jakub Miller (1920–2010), sądecki Żyd, który przeżył okupację. Rozpoczął on po wojnie długotrwałą restaurację miejsca pochówku. Przetransportowane na cmentarz, odkryte lub dostarczone tu macewy zostały ustawione na całej przestrzeni cmentarza, jedynie kilka stoi na oryginalnym miejscu pochówku. Duża ilość macew została użyta do budowy muru okalającego cmentarz od strony południowej i zachodniej.