Wywołany tym resentyment, a także niezadowolenie, którego przyczyną były wewnętrzne trudności przeżywane przez młode muzułmańskie państwo, doprowadziły jednak do wybuchu buntu przeciwko Usmanowi, który zginął zamordowany przez rebeliantów w roku 656.
Następcą Usmana został wybrany Ali ibn Abi Talib (656–661), zięć i przybrany syn Proroka, który od początku spotkał się z opozycją Umajjadów, zarzucających mu, że doszedł do władzy w wyniku śmierci poprzedniego kalifa. Na czele Umajjadów stał Mu’awija, któremu po stoczeniu z Alim nierozstrzygniętej bitwy pod Siffinem (657) udało się doprowadzić do arbitrażu, który miał rozstrzygnąć o kalifackich roszczeniach Alego oraz winie zabójców Usmana. Ci spośród zwolenników Alego, którzy nie chcieli pogodzić się z faktem, iż słuszność zabicia Usmana w ogóle może być kwestionowana, odeszli od niego i w przyszłości stworzyli stronnictwo charydżytów. Wyniki arbitrażu okazały się niekorzystne dla Alego i Mu’awija zyskiwał coraz mocniejszą pozycję wobec słabnącego politycznie przeciwnika. W roku 661 Ali zginął w wyniku charydżyckiego zamachu i Mu’awija ogłosił się kalifem. Syn Alego, Hasan, zrzekł się swoich praw do kalifatu.