Dołączył również do Afgańskich Bojowników o Wolność, grupy antysowieckiego ruchu oporu, będąc odpowiedzialnym za sprawy opieki zdrowotnej.
Po powrocie do Afganistanu przystąpił do mudżahedinów z prowincji Pandższer walczących z wojskami radzieckimi i w 1986 roku został doradcą Ahmada Szaha Masuda, jednego z ich przywódców.
W latach 1992–1996 pełnił funkcję rzecznika ministerstwa obrony Afganistanu. Po zdobyciu władzy przez talibów w 1997 roku został wiceministrem, a rok później ministrem spraw zagranicznych Sojuszu Północnego, walczącego w kraju z talibami. Po zabójstwie Masuda w roku 2001, został jednym z trzech głównych liderów Sojuszu. 22 grudnia 2001 objął funkcję ministra spraw zagranicznych w administracji Hamida Karzaja. Sprawował ją do 22 marca 2006„Afghan foreign minister loses job”, BBC News, 22 marca 2006..
6 maja 2009 Abdullah Abdullah zarejestrował się jako niezależny kandydat w wyborach prezydenckich zaplanowanych na 20 sierpnia 2009.