W ostatnich latach życia Rühmann odkrył swoje zamiłowanie do recytacji i zamienił scenę i srebrny ekran na studio nagraniowe i pulpit recytatorski. Dużą popularnością cieszyły się jego czytania z okazji świąt Bożego Narodzenia, pokazywane w niemieckiej ZDF oraz prezentowane w 1984 m.in. w kościele św. Michała w Hamburgu. W roku 1980 występował w „Stars in der Menge” z clownem Olegiem Popowem. Po śmierci jego koleżanki Edith Schultze–Westrum 20 marca 1981, z którą grał w latach 30 u Otto Fackenberga, wygłosił przemówienie żałobne na cmentarzu „Solln” w Monachium. W 1982 opublikował swoją autobiografię pod tytułem „Das war’s”.

Ostatni jego występ publiczny miał miejsce 15 stycznia 1994 roku w telewizyjnym show „Wetten, dass” z prowadzącym Thomasem Gottschalkiem. Od zgromadzonej tam publiczności otrzymał gromkie brawa, co wzruszyło go do łez.

Zmarł 3 października w Aufkirchen nad jeziorem Stanberg i został skremowany na jego własne życzenie. Urna została złożona na cmentarzu w Aufkirchen 30 października 1994 roku. Gmina Berg, do której należy Aufkirchen, zmieniła nazwę ulicy, na której mieszkał na „Heinz – Rühmann – Weg”.