W 1507 roku spłonęła najstarsza synagoga. W XVI wieku Brzeg, obok Wrocławia, był głównym targiem gdzie Żydzi sprzedawali woły zakupione na Wołoszczyźnie. W latach 1582–1584 cesarz Rudolf II potwierdził edykt cesarski nakazujący Żydom opuszczenie ziem dziedzicznych Habsburgów, na mocy którego w 1582 roku ponownie wypędzono Żydów z Brzegu. thumb|left|200px|Budynek synagogi W połowie XVII wieku w Brzegu zaczęła osiedlać się grupa Żydów z Białej, którzy w 1660 roku założyli samodzielną gminę żydowską. Najprawdopodobniej istniała w tym samym czasie synagoga. W 1782 roku w mieście mieszkało 140 Żydów (3% ogółu mieszkańców).
W 1799 roku wybudowano nową, klasycystyczną synagogę, usytuowaną na rogu obecnych ulic 3 Maja i Długiej oraz w 1798 zakupiono teren pod cmentarz. W 1785 roku miasto zamieszkiwało 156 Żydów. W 1816 roku gmina zatrudniła pierwszego rabina. We wrześniu 1824 roku założono dwuklasową elementarną szkołę żydowską. W XIX w. działała żydowska drukarnia, która wydawała kalendarze i roczniki.