W chronologicznie pierwszym dokumencie dotyczącym obecności Żydów na terenie dzisiejszych Niemiec, datowanym na 321 n.e., mowa jest o licznej i dobrze zorganizowanej żydowskiej wspólnocie w Kolonii. Na terenie dzisiejszej Chorwacji wykopaliska archeologiczne w Salonie wykazały istnienie grobów żydowskich z III w. n.e.
W Imperium Rzymskim Żydzi uzyskali obywatelstwo w 212 n.e., dzięki cesarzowi Karakalli, który udzielił tego przywileju wszystkim wolnym ludom. Od czasów I wojny żydowskiej (66–73) wyznawcy judaizmu płacili jednak podatek pogłówny, który w 363 n.e. został zniesiony przez Juliana Apostatę. W późnym okresie rzymskim Żydzi mogli swobodnie prowadzić życie kulturowe i religijne oraz podejmować rozmaite zawody. Po zalegalizowaniu chrześcijaństwa w 313 n.e. oraz ustanowieniu go oficjalną religią Rzymu i Konstantynopola w 380 n.e. nasilały się prześladowania Żydów.
We Włoszech, pod panowaniem oświeconego króla ostrogockiego, Teodoryka Wielkiego (493–526), istniały wspólnoty Żydów w Rzymie, Mediolanie, Genui, Palermo, Messynie, Agrigentum i Sardynii. W 493 roku król ten zapewnił Żydom prawo do publicznych dysput oraz wolności wyznania.