Pierwsza pisemna wzmianka o cmentarzu pochodzi z 1555 roku, kiedy to wydano przywilej gwarantujący Żydom możliwość dokonywania pochówków na tym terenie.
Cmentarz w związku z założeniem nowego cmentarza żydowskiego oraz brakiem miejsc został zamknięty w 1830 roku i w tym samym roku odbył się ostatni oficjalny pochówek. Mimo zamknięcia, do początków XX wieku odbyło się jeszcze kilka legalnych i nielegalnych pogrzebów. Nekropolia jest otoczona wysokim, siedemnastowiecznym murem. Podczas I wojny światowej prawie wszystkie drewniane macewy zostały spalone przez żołnierzy rosyjskich.
Po odzyskaniu niepodległości przez państwo polskie na cmentarzu dokonano kilku dewastacji. W 1939 roku na cmentarzu prawdopodobnie mogło się znajdować do 3000 macew. Podczas II wojny światowej Niemcy doszczętnie zdewastowali cmentarz, a macew używali m.in. do utwardzania i brukowania dróg. Po okresie wojennym pozostały jeszcze leje po bombach oraz na niektórych macewach dziury po pociskach.