Jego pierwszy film niemy „Das deutsche Mutterherz” został nakręcony w roku 1926. Po dalszych rolach filmowych jego popularność stale rosła, tak iż otrzymał rolę teatralną u boku Marleny Dietrich. 1930 rok był przełomowy w jego karierze aktorskiej za sprawą filmu „Trzech przyjaciół” (Die drei von der Tankstelle) i należał odtąd obok Hansa Albersa do najbardziej lubianych niemieckich aktorów.
Kariera w III Rzeszy Po przejęciu władzy przez narodowych socjalistów Rühmann nie wypowiadał się publicznie o polityce w Niemczech, ale zachowywał się możliwie neutralnie. Rozwiódł się ze swoją żoną pochodzenia żydowskiego w roku 1938. Przeżyła ona czas nazistowski w Sztokholmie. Zarzucano mu potem, że chciał zabezpieczyć swoją karierę filmową, jednakże i tak małżeństwo było prawdopodobnie w rozsypce. Przemawia za tym fakt, że także jego druga żona Hertha Feiler, również miała dziadka z pochodzeniem żydowskim, co doprowadziło do spięć Rühmanna z nazistami. Z tego małżeństwa urodził się jego syn Peter. Rühmann był również w dłuższym związku ze swoją koleżanką Leną Marenbach, partnerką filmową z takich produkcji jak „Der Mustergatte” oraz „Fünf Millionen suchen einen Erben”.