Az-Zarkawi ukrywał się m.in. w Europie, a następnie ponownie przybył do Afganistanu. Podczas inwazji wojsk amerykańskich na ten kraj stracił nogę od wybuchu pocisku. W 2001 r. przedostał się do Iraku. Przypuszcza się, że kierował tam islamistyczną organizacją Ansar al-Islam. Do śmierci kierował, uważanym za odłam Al-Ka’idy w Iraku ugrupowaniem Dżami'at at-Tauhid wa-Dżihad, które w internecie podpisuje się także jako „Al-Ka’ida Mezopotamii”. Głównym celem organizowanych przez niego zamachów była iracka, głównie szyicka ludność cywilna, nie zaś żołnierze koalicji.
Niektórzy jego zwolennicy twierdzili, że zginął podczas amerykańskich bombardowań na północy Iraku. Jednakże w maju 2004 roku grupa terrorystyczna, którą dowodził zamaskowany mężczyzna podający się za Az-Zarkawiego, uprowadziła Nicholasa Berga, Amerykanina przebywającego w Iraku. Mężczyzna podający się za Az-Zarkawiego osobiście ściął głowę porwanemu. CIA stwierdziła, że głos nagrany na taśmie wideo przedstawiającej zabójstwo Berga faktycznie należy do Az-Zarkawiego.