Poseł Od 1972 do 1979 był członkiem Niemieckiego Bundestagu. Był w nim od maja 1973 do października 1976 przewodniczącym frakcji CDU/CSU i zarazem przywódcą opozycji. Po wyborach w 1976 roku został 14 grudnia wybrany na jego przewodniczącego. Mandat poselski zdobył w 1972 z listy krajowej Szlezwiku-Holsztynu, a w 1976 bezpośrednio z okręgu Pinneberg. lewo|mały|237x237px|Karl Carstens podczas spotkania z papieżem Janem Pawłem II w Bonn, 1980

Urzędy państwowe Od 1960 do 1966 był sekretarzem stanu w MSZ, a w czasie trwania wielkiej koalicji od grudnia 1966 do 1968 sekretarzem stanu w Ministerstwie Obrony. Następnie od 1968 do 1969 był, w stopniu sekretarza stanu, szefem Urzędu Kanclerskiego.

W wyborach prezydenckich w 1979 został przez Zgromadzenie Federalne 23 maja 1979 wybrany 5. Prezydentem Federalnym Republiki Federalnej Niemiec. Zastąpił na tym stanowisku Waltera Scheela. Z powodu swego wieku zrezygnował z kandydowania na drugą kadencję i 30 czerwca 1984 zakończył urzędowanie.