Pełnił ją do 1 października 2001, kiedy to zastąpił go Jan Peter Balkenende.
Kiedy po wyborach w 2002 Apel Chrześcijańsko-Demokratyczny współtworzył nowy rząd, Jaap de Hoop Scheffer 22 lipca 2002 objął stanowisko ministra spraw zagranicznych w pierwszym gabinecie, którym kierował Jan Peter Balkenende. Pozostał na tym urzędzie również w jego drugim rządzie do 3 grudnia 2003. Od 1 stycznia do 3 grudnia 2003 pełnił również funkcję przewodniczącego OBWE.
Odszedł z rządu 3 grudnia 2003 w związku z nominacją na sekretarza generalnego NATO w miejsce George’a Robertsona. Stanowisko to zajmował od 5 stycznia 2004 do 1 sierpnia 2009. Po zakończeniu kadencji zajął się działalnością dydaktyczną jako wykładowca na Uniwersytecie w Lejdzie.
Odznaczenia Krzyż Wielki Orderu Oranje-Nassau (Holandia) – 2009 Oficer Orderu Oranje-Nassau (Holandia) – 2003 Kawaler Orderu Oranje-Nassau (Holandia) – 2002 Order Stara Płanina I klasy (Bułgaria) – 2009 Wielki Order Króla Petara Krešimira IV (Chorwacja) – 2009 Krzyż Wielki Orderu Krzyża Ziemi Maryjnej (Estonia) – 2009 Krzyż Wielki Orderu Witolda Wielkiego (Litwa) – 2009 Wielki Oficer Orderu Trzech Gwiazd (Łotwa) – 2004 Krzyż Wielki Orderu Zasługi Rzeczypospolitej Polskiej – 2009 Krzyż Wielki Orderu Gwiazdy Rumunii (Rumunia) – 2004 Order Podwójnego Białego Krzyża I klasy (Słowacja) – 2009