Dopiero z pomocą reżysera Helmuta Käutnera udał mu się powrót do aktorstwa, najpierw w filmie „Keine Angst vor großen Tieren”, a potem w 1956 w tragikomedii „Kapitan z Köpenick” (według Carla Zuckmayera), gdzie zagrał szewca Wilhelma Voigta, za co został odznaczony w 1957 roku nagrodą niemieckiej krytyki filmowej. W kolejnych latach grał w wielu filmach rozrywkowych o różnej jakości i nawiązywał do swoich wcześniejszych osiągnięć. W 1966 otrzymał Order Zasługi Republiki Federalnej Niemiec.

Rühmann występował również w teatrze w Monachium, w sztukach w reżyserii Fritza Kortnera, jak np. „Czekając na Godota”. W latach od 1960 do 1962 był członkiem Teatru Zamkowego w Wiedniu. Grał w sztuce „Harvey” przy teatrze akademickim, wcielił się także w rolę Williego Lomana w „Śmierci komiwojażera” (Death of a Salesman). 31 grudnia grał rolę w produkcji „Die Fledermaus” w wiedeńskiej operze państwowej. W 1970 roku zmarła jego żona Hertha Feiler. W 1974 poślubił Herthe Droemer.