W IV w. p.n.e. Samarytanie sami ogłosili się odrębną wspólnotą religijną, a Żydów uznali za apostatów. Najprawdopodobniej w latach 350-330 p.n.e. wybudowali własną świątynię na górze Gerazim. Używali też własnego, innego niż żydowski kalendarza. Wrogość między obiema grupami stale się nasilała, co zwykle niekorzystniej odbijało się na Samarytanach, gdyż Żydzi mieli większe wpływy na dworze władców Persji, do której wówczas należała Palestyna. Wielokrotnie w tych czasach (lecz zwykle na krótko) Samarytanie tworzyli autonomiczne państwo ze stolicą w Sychem (obecnie Nablus).
Po powstaniu Machabeuszy w połowie II w. p.n.e., w którym Samarytanie popierali Seleucydów, Żydzi zaczęli ich prześladować i w 129 p.n.e. zniszczyli ich świątynię na wzgórzu Gerazim. W okresie rzymskim obie strony konfliktu oskarżały się wzajemnie wobec cesarzy o nielojalność i dążenia niepodległościowe. Kilkakrotnie wybuchały małe powstania samarytańskie, ale gdy w 66 r. n.e. Żydzi powstali przeciwko Rzymianom, Samarytanie nie przyłączyli się do rebelii. Po powstaniu żydowskim Szymona Bar-Kochby Rzymianie sami odbudowali świątynię na Gerazim (Hadrian wybudował tu wcześniej świątynię Zeusa) i umożliwili Samarytanom sprawowanie tam Paschy. Od tego momentu aż do końca ery rzymskiej Samarytanie cierpieli poważne prześladowania jedynie za cesarza Kommodusa.