W 1971 r. zrezygnował z funkcji sekretarza generalnego SED. Na stanowisku zastąpił go Erich HoneckerWolfgang Benz, Hermman Graml: Siglo XX. II. Europa después de la Segunda Guerra Mundial 1945-1982, 1986, s. 462–463.. Do końca życia pozostawał na reprezentacyjnym stanowisku przewodniczącego Rady Państwa NRD. Z racji sprawowanych funkcji był „skoszarowany” w partyjno-rządowych osiedlach kierownictwa NRD – początkowo wokół Majakowskiring w Berlinie-Pankow, następnie na Osiedlu Leśnym w Bernau. Zmarł w Templinie w 1973 r. Pochowany na Cmentarzu Centralnym Friedrichsfelde w Berlinie.

Imieniem Waltera Ulbrichta nazwano w NRD statek – był to jeden z ostatnich kontenerowców, zbudowanych dla tamtejszego armatora, (DSR).

Życie prywatne mały|Willi Stoph z Lotte i Walterem Ulbrichtami (1967) W 1920 roku Ulbricht poślubił Marthę Schmellinsky (1892–1974), krawcową z Lipska, z którą przyjaźnił się od 1915 roku. Para szybko oddaliła się od siebie, ale małżeństwo rozwiodło się dopiero w 1949 roku. Para miała córkę Dorę (1920–2010), która mieszkała w Niemczech Zachodnich.

Jednocześnie Ulbricht pozostawał w związku z urodzoną w Warszawie działaczką Francuskiej Partii Komunistycznej (PCF) Rosą Michel (właśc. Marie Wacziarg,1901-1990).