Do Wielkiej Synagogi uczęszczali głównie reprezentanci postępowej inteligencji żydowskiej (m.in. lekarze, prawnicy, przedsiębiorcy i urzędnicy), w ograniczonym stopniu także tradycjonaliści. Synagoga, posiadająca 2000 miejsc, zwana była Wielką, jako że pełniła funkcję reprezentacyjną dla lokalnej gminy żydowskiej. Był to pierwszy budynek w mieście, w którym zainstalowano lampy elektryczne; po raz pierwszy włączono je w 1925 roku. Okazały budynek świątyni był widoczny w panoramie miasta i niejako symbolizował znaczenie gminy żydowskiej.
Wokół Wielkiej Synagogi skupiało się życie religijne społeczności żydowskiej Oświęcimia. Do głównych rabinów gminy żydowskiej w Oświęcimiu kolejno sprawujących nabożeństwa w synagodze w latach 1873–1939 należeli: Lazar Münz, Szlomo Halberstam, Abraham Schnur, Osias Pinkas Bombach i jako ostatni jego syn, Eliasz Bombach.
Na początku II wojny światowej, w nocy z 29 na 30 listopada 1939 roku synagoga została spalona przez hitlerowców. W 1941 roku jej zgliszcza zostały rozebrane, a teren po nich został wykorzystany do budowy schronów przeciwlotniczych.