W 1935 został aresztowany za działalność opozycyjną wobec reżimu III Rzeszy, a w 1937 skazany przez nazistów na karę 10 lat ciężkiego więzienia za zdradę stanu. Pod koniec II wojny światowej, w 1945 został uwolniony przez Armię Czerwoną. Zamieszkał we wschodnich Niemczech. Rozpoczął wtedy na nowo działalność polityczną u boku Waltera Ulbrichta. W 1946 był jednym z pierwszych członków Niemieckiej Socjalistycznej Partii Jedności (SED) i po miażdżącym zwycięstwie tej partii w wyborach wszedł do kierownictwa w utworzonym na krótki czas parlamencie. Po utworzeniu Niemieckiej Republiki Demokratycznej był aktywnym członkiem partii, piastował między innymi stanowisko przewodniczącego organizacji młodzieżowej Freie Deutsche Jugend (FDJ). Po okresie kandydowania od 1951, w 1958 wszedł w skład Komitetu Centralnego Socjalistycznej Partii Jedności (SED).

W 1971 został przewodniczącym partii (po rezygnacji Waltera Ulbrichta), a od 1976 przewodniczącym Rady Państwa. Doprowadził do poprawy relacji z RFN i wzajemnego uznania. Wprowadził również pewne reformy liberalizujące ustrój, a w 1974 wdrożył reformę konstytucji.