W ten sposób władza w ramach Umajjadów przeszła definitywnie z rąk Sufjanidów do Marwanidów, z których wywodzili się wszyscy następni kalifowie.
Abd al-Malik początkowo panował tylko w Syrii i Egipcie, bowiem większość Arabów uznawała władzę rządzącego z Mekki Abd Allaha Ibn az-Zubajra, obwołanego kalifem po śmierci Jazida. Pokonanie go zajęło mu siedem lat - dopiero w roku 692 słynny dowódca Abd al-Malika, Hadżdżadż Ibn Jusuf, zdobył Mekkę i zabił Ibn az-Zubajra. Jednak nie był to koniec walk wewnątrz imperium. Mianowany namiestnikiem Iraku Hadżdżadż musiał w następnych latach walczyć z charydżyckimi azrakitami, a potem w roku 701 z plemienną rewoltą pod wodza Ibn al-Aszata. Ta ostatnia była związana z narastającym konfliktem pomiędzy ugrupowaniem plemion południowoarabskich, Jemenitów, i plemion północnoarabskich, Kajsytów, datującym się co najmniej od czasu krwawej bitwy na równinie Mardż Rahit z 684 r., w której to plemiona te stanęły po przeciwnych stronach wojny domowej. Rywalizacja pomiędzy Jemenitami a Kajsytami, wobec której Umajjadom trudno było pozostać neutralnym, miała odtąd już stale podcinać siły kalifatu, zagrażając jedności Arabów.