Najgroźniejszym przeciwnikiem okazał się jednak ruch haszimijja, który popierał roszczenia do władzy Haszymitów, przez których rozumiano Alidów albo Abbasydów. Haszymici działający pod przywództwem Abu Muslima obalili władzę Umajjadów w Chorasanie i stamtąd wyruszyli na Irak, gdzie w roku 749 w Al-Kufie ogłosili kalifem członka rodu Abbasydów Abu al-Abbasa as-Saffaha (749–754). W roku 750 wyczerpana poprzednimi walkami armia Marwana została pokonana w decydującej bitwie nad Wielkim Zabem, a sam Marwan zginął w wyniku pościgu, co oznaczało koniec panowania Umajjadów na Bliskim Wschodzie.
Umajjadzi hiszpańscy
thumb|Państwo Umajjadów w roku 929, gdy Abd ar-Rahman III (912–962) ogłosił się kalifem Większość członków rodu Umajjadów została wymordowana przez Abbasydów. Jednym z nielicznych ocalałych był Abd ar-Rahman I (756–788), wnuk kalifa Hiszama, któremu w roku 755 udało się dotrzeć na Półwysep Iberyjski. Abd ar-Rahmanowi udało się pokonać faktycznie niezależnego namiestnika al-Andalus, Jusufa Ibn Abd ar-Rahmana al-Fihriego, dzięki poparciu syryjskich wojowników, którzy przybyli na półwysep kilkanaście lat wcześniej.