W 1954 wstąpił do służby dyplomatycznej RFN i do 1955 był stałym przedstawicielem RFN przy Radzie Europy w Strasburgu, a potem pracował w MSZ w Bonn. Tam przejął w 1958 kierowanie wydziałem „West I Europa”. W 1960 nastąpiło powołanie na stanowisko profesora prawa państwowego i międzynarodowego Uniwersytetu Kolońskiego. Od 1970 do 1972 kierował Instytutem Badawczym Niemieckiego Towarzystwa Polityki Zagranicznej w Bonn.

W 1944 poślubił Veronicę Prior (1923-2012). Veronica Carstens była lekarzem specjalistą chorób wewnętrznych. Nie mieli dzieci. W 1982 założyli Fundację Karla i Veroniki Carstens, której celem jest wspieranie nauki oraz badań nad przyrodolecznictwem oraz homeopatią.

Karl Carstens zmarł w nocy z 29 na 30 maja 1992 wskutek udaru mózgu. Został pochowany na cmentarzu Riensbergerskim w Bremie.

Przynależność partyjna Od 1940 do 1945 był członkiem NSDAP. Podanie o przyjęcie miał złożyć na polecenie prezesa Sądu Krajowego i pod groźbą sankcji zawodowych, a od 1933 był członkiem SA, paramilitarnej organizacji NSDAP. Od 1955 był członkiem CDU.