Samarytanie nie chcieli również burzyć lokalnych świątyń Jahwe i przenosić całego kultu do Jerozolimy, co było jedną z głównych reform religijnych z IX-VII w. p.n.e.
Po pokonaniu i zniszczeniu Judy przez króla Babilonii Nabuchodonozora II w 586 p.n.e. – na jeszcze surowsze wygnanie skazano również ludność tego państwa (pierwsze mniejsze wysiedlenie miało miejsce już w 597 p.n.e.). Po powrocie judzkich Żydów jesienią 538 p.n.e. z niewoli babilońskiej większość z nich nie chciała uznać Samarytan za współwyznawców. Część z powracających była skłonna do tego pod warunkiem, że Samarytanie porzucą nieżydowskie małżonki, zrezygnują z własnych zwyczajów i zwrócą dawne żydowskie majątki nadane im przez Babilończyków. Samarytanie odmówili, lecz – choć ich główny ośrodek religijny znajdował się na górze Gerazim – zamierzali wesprzeć odbudowę Świątyni Salomona. Tę propozycję Żydzi odrzucili, uznając Samarytan za nieczystych rytualnie. Do dzisiaj z punktu widzenia ortodoksyjnego judaizmu nie jest jasne, czy Samarytanie są Żydami, którzy wyłączyli się ze wspólnoty, czy też nie-Żydami.