W początku lat 60. XX wieku McGhee odegrał ważną rolę w rozwoju stosunków Stanów Zjednoczonych z Republiką Konga i Republiką Dominikany w początku lat 1960. Od listopada 1961 do kwietnia 1963 służył w administracji prezydenta Kennedy’ego jako trzeci w historii podsekretarz stanu do spraw politycznych. Zastąpił go na tym stanowisku William Averell Harriman. Następnie w latach 1963–1968 był ambasadorem USA w Niemczech Zachodnich.
Emerytura Od 1970 do 1974 szefował Federal City Council, waszyngtońskiej organizacji zrzeszającej przedsiębiorstwa, instytucje edukacyjne, urzędy i inne organizacje zainteresowane promocją rozwoju gospodarczego miasta Waszyngton.
Na emeryturze McGhee opublikował w 1990 na poły autobiograficzną powieść The Dance of the Billions: A Novel About Texas, Houston, and Oil (Taniec Miliardów: powieść o Teksasie, Houston i ropie). Nie spotkała się ona z ciepłym przyjęciem, co rodzina McGhee uznała za wynik jej „purytańskiego wydźwięku”. W 2001 ukazał się jego pamiętnik pod tytułem I did it this way (Tak to zrobiłem).