Po pokonaniu Mus'aba w roku 691 na rozkaz Abd al-Malika wyruszył z dwoma tysiącami syryjskich żołnierzy przeciwko Mekce, stolicy Ibn az-Zubajra. Al-Hadżdżadż obrał, jako bazę swoich działań, rodzinny Taif. Początkowo – zgodnie z poleceniem kalifa, który chciał oszczędzić święte miasto islamu – zaproponował Ibn az-Zubajrowi kapitulację w zamian za nietykalność. Kiedy ten odmówił, Al-Hadżdżadż uzyskał od kalifa zgodę na wzięcie Mekki siłą i rozpoczął jej bombardowanie, którego nie przerwał nawet w czasie pielgrzymki. Ibn az-Zubajr odmówił prawa do pielgrzymki samemu Al-Hadżdżadżowi. Ten w gniewie nie zawahał się przed bombardowaniem Al-Ka'by, wraz ze zgromadzonymi tam pielgrzymami. Po siedmiu miesiącach oblężenia Al-Hadżdżadż zdobył Mekkę, zaś Ibn az-Zubajr zginął w walkach wokół Ka'by.
Po śmierci Ibn az-Zubajra reszta Hidżazu poddała się. W nagrodę Al-Hadżdżadż został namiestnikiem Hidżazu, Jemenu i Al-Jamamy. Jako namiestnik dwukrotnie odbywał pielgrzymkę i rozpoczął odbudowę Ka'by w formie, jaką miała przed jej odnowieniem przez Ibn az-Zubajra. Al-Hadżdżadż przywrócił pokój w Hidżazie, jednak postępował z surowością, która kilkakrotnie wymagała interwencji kalifa.