W styczniu 2001 powołany przez prezydenta George’a W. Busha na stanowisko sekretarza stanu USA. 12 listopada 2004, po zwycięstwie George’a W. Busha w kolejnych wyborach prezydenckich złożył rezygnację z zajmowanego stanowiska, 26 stycznia 2005 zastąpiła go Condoleezza Rice. W wyborach prezydenckich w 2008 poparł kandydata demokratów, Baracka Obamę. W wyborach prezydenckich w 2016 uzyskał 3 głosy elektorskie, co nie zmieniło decyzji większości Kolegium Elektorów i wygrał kandydat republikanów Donald Trump.
Podczas wojny w Wietnamie, służący jako oficer Powell był zamieszany w tuszowanie masakry wietnamskich cywilów w Mỹ Lai.
Zmarł na powikłania pocovidowe pomimo przyjęcia podwójnego szczepienia. Był to skutek obniżonej oporności w trakcie leczenia szpiczaka mnogiego. Został pochowany 5 listopada 2021 w Katedrze Narodowej w Waszyngtonie.
Życie prywatne Był żonaty, miał troje dzieci (syn Michael i dwie córki).
W 2018 filmie Vice w reżyserii Adama McKaya w postać Powella wcielił się Tyler Perry.