W 1819 r. Żydzi założyli bożnicę przy ul. Prostej (według innych źródeł już w 1814). W 1825 r. do prywatnej szkółki żydowskiej uczęszczało 15 dzieci, a troje spośród nich także do prywatnej szkoły chrześcijańskiej. Pierwsza synagoga w Olsztynie powstała na rogu ulicy Kołłątaja i Okopowej (wówczas Schanzenstrasse i Krummstrasse) w roku 1835. Była wykorzystywana blisko 40 lat, po czym została przekazana na cele mieszkalno-handlowe. Budynek ten rozebrano w 1992 i zbudowano ponownie, nawiązując stylistycznie i architektonicznie do pierwotnego.
Nowa synagoga została zbudowana przy ul. Grunwaldzkiej na parceli nr 5 i oddana do użytku w roku 1877 (pierwsze działania podjęto już w 1871 r., gdy zwrócono się do władz o wydanie pozwolenia na nabycie gruntu w pobliżu zamku). Parcelę powierzchni 0,22 ha zakupiono od parafii ewangelickiej za 1500 marek. W latach 1906–1907, tuż obok wybudowany został żydowski dom starców i dom gminy żydowskiej. Synagoga została zdewastowana i podpalona w czasie tzw. nocy kryształowej (z 9 na 10 listopada 1938). Nieco później została zlikwidowana.