Pozostał w Kongresie do roku 1953, gdy wybrano go na stanowisko gubernatora stanu Massachusetts.
Herter nie ubiegał się o reelekcję na stanowisku gubernatora w roku 1956. 21 lutego 1957 r. powierzono mu posadę podsekretarza stanu w administracji prezydenta Eisenhowera drugiej kadencji. Następnie, gdy ówczesny sekretarz stanu John Foster Dulles zapadł na ciężką chorobę, Herter objął jego urząd (22 kwietnia 1959r). Dulles zmarł miesiąc później. W roku 1961 Herter został udekorowany Medalem Wolności.
Po wyborach w roku 1960 nie pełnił żadnego oficjalnego stanowiska, jednak jako „starszy urzędnik” udzielał się w różnych radach i komisjach. Był również specjalnym reprezentantem w negocjacjach handlowych. Współpracował zarówno z Johnem F. Kennedym jak i Lyndonem Johnsonem, aż do swojej śmierci w roku 1966 w Waszyngtonie. Został pochowany na cmentarzu Prospect Hill w Millis, w stanie Massachusetts.
Christian Herter cieszył się dożywotnio reputacją internacjonalisty. Szczególnie angażował się w rozwój politycznych i gospodarczych stosunków w Europie.