Działalność thumb|Uszkodzony USS Cole po ataku w październiku 2000 Al-Ka’ida była aktywna w Jemenie jeszcze przed powołaniem jej regionalnej filii. 12 października 2000 terroryści przeprowadzili w porcie w Adenie atak na amerykański okręt USS Cole, poważnie go uszkadzając i zabijając 17 amerykańskich marynarzy. Innym wydarzeniem przypisanym Al-Ka’idzie jest masakra w saudyjskim Al-Chubar, gdzie w dniach 29–30 maja 2004 terroryści zabili 22 osoby, w większości obcokrajowców. W czerwcu 2004 ugrupowanie porwało pod Rijadem i ścięło obywatela Stanów Zjednoczonych Paula Marshalla Johnsona. Al-Ka’ida była podejrzana również o przeprowadzenie zamachu bombowego w Dosze w marcu 2005. W 2008 atakowano ambasadę USA w Sanie.
Al-Ka’ida ponownie uaktywniła się po połączeniu saudyjskiej i jemeńskiej komórki w styczniu 2009. W sierpniu 2009 zamachowiec-samobójca z AQAP próbował zabić księcia Muhammada ibn Najifa, który przewodził antyterrorystycznym działaniom w Arabii Saudyjskiej. Tego samego roku ugrupowanie zabiło w Jemenie czterech turystów z Korei Południowej.