Ambasador w Stanach Zjednoczonych Pół roku po objęciu przez Kennedy’ego urzędu prezydenta, Ormsby-Gore zjawił się w Waszyngtonie. . Podczas pogrzebu Johna F. Kennedy’ego, Ormsby-Gore był jedną z osób niosących trumnę prezydenta (pozostałymi byli: Robert F. Kennedy, Robert McNamara, John Glenn, Averell Harriman, C. Douglas Dillon, Kirk Billings, Stephen Smith, David Hackett, Jim Whittaker i John Seigenthaler.
Za prezydentury Lyndona Johnsona relacje z Białym Domem stały się bardziej oficjalne, ale pozostały przyjazne. Dzięki temu Ormsby-Gore utrzymał się na tym stanowisku aż do zmiany rządu w Wlk. Brytanii z konserwatywnego na laburzystowski w 1964 r. Rok później Ormsby-Gore został odwołany ze stanowiska ambasadora. Jego miejsce zajął sir Patrick Dean.
Po powrocie do Anglii Jeszcze w 1964 r. odziedziczył tytuł barona Harlech oraz przysługujące mu miejsce w Izbie Lordów. Po powrocie do kraju zajął przysługujące mu miejsce w izbie wyższej parlamentu. Wkrótce przeżył dwie tragedie rodzinne. W 1967 r. jego żona zginęła w wypadku samochodowym, a jego syn popełnił samobójstwo w 1974 r. W późniejszych latach lord Harlech odnosił sukcesy w branży telewizyjnej. Był m.in. założycielem Harlech Television (HTV) oraz przewodniczącym British Board of Film Classification.