Prace przygotowawcze rozpoczęto 19 maja 1882, a pozwolenie na budowę kozielska gmina żydowska otrzymała w marcu 1883. 5 lipca 1883 położono kamień węgielny, a wykonanie prac murarskich zlecono mistrzowi murarskiemu Schwartzerowi. Synagoga została zbudowana w latach 1877–1886 dzięki hojnym ofiarom m.in. członka wspólnoty Fedora Ringa, członka magistratu i założyciela Fundacji dobroczynnej. Koszt budowy synagogi wraz z sąsiednim domem dla rabina oszacowano na 52 000 złotych marek. Na działce obok synagogi, po lewej jej stronie znajdował się kahał (dom rabina; budynek w którym obecnie mieści się dyrekcja samodzielnego publicznego zakładu opieki zdrowotnej), a po prawej jego stronie niewielki cmentarz, który z czasem został zlikwidowany.
10 września 1886 nastąpiło uroczyste otwarcie synagogi, w którym uczestniczyli m.in. starosta kozielski, rabin z Bytomia dr Ferdinand Rosenthal oraz rabin kozielski Arnold Krolik. Augustin Weltzel tak opisał tę uroczystość:
Nabożeństwa odbywały się zasadniczo w piątki o godzinie 16:00 oraz w soboty o 9:30. Podczas nocy kryształowej, 9 listopada 1938 roku bojówki Sturmabteilung zniszczyły synagogę, rzucając do jej wnętrza granaty, które spowodowały pożar. Następnie ją rozebrano. Po zakończeniu II wojny światowej na miejscu synagogi wzniesiono u schyłku lat 60.