Taylor analizował wraz z innymi wojskowymi przyczyny nieudanej próby zajęcia Zatoki Świń na Kubie. Niedługo potem, z powodu niekorzystnej sytuacji na froncie w Wietnamie został przywrócony do służby. Od 1962 do 1964 zajmował najwyższe stanowisko wojskowe USA – przewodniczącego Kolegium Połączonych Szefów Sztabów. W tym czasie przeżył głęboki szok emocjonalny – w zamachu zginął jego wieloletni zwolennik i przyjaciel, prezydent USA John Kennedy.
Później Taylor został na rok ambasadorem amerykańskim w Sajgonie, a w 1965 kierował Radą Doradczą Wywiadu u boku prezydenta USA Lyndona Johnsona. Następnie od 1966 do 1969 przewodniczył Instytutowi Strategicznych Analiz Obronnych. Później ostatecznie przeszedł na emeryturę.
Zmarł 19 kwietnia 1987 w Waszyngtonie. Został pochowany na Narodowym Cmentarzu w Arlington w stanie Wirginia.