W 1938 r. został szefem wydziału badań nad nowymi technologiami w lotnictwie, pracującego dla Luftwaffe. Po rozpoczęciu II wojny światowej brał udział w bitwie o Anglię, za co został odznaczony przez Hitlera Krzyżem Rycerskim Krzyża Żelaznego z Liśćmi Dębu i Mieczami.
Kiedy Armia Czerwona dotarła do Berlina, a III Rzesza chyliła się ku upadkowi, generał pułkownik (Generaloberst) Greim przyleciał do atakowanego Berlina wraz ze swoją przyjaciółką – kobiecym asem myśliwskim Hanną Reitsch, z misją ewakuowania Hitlera. Hitler odrzucił tę ostatnią deskę ratunku, ale promował Greima do stopnia feldmarszałka (niem. Generalfeldmarschall) i mianował go dowódcą Luftwaffe w miejsce skompromitowanego Göringa, który w ostatnich dniach popadł w niełaskę dyktatora. Greim był więc zarówno ostatnim feldmarszałkiem mianowanym przez Hitlera, jak i ostatnim dowódcą Luftwaffe.
Raniony podczas lądowania, Greim nadal mógł opuścić Berlin. 8 maja 1945 dostał się do niewoli amerykańskiej. Popełnił samobójstwo 24 maja 1945 w więzieniu w austriackim Salzburgu. Jego ostatnie słowa przed zażyciem cyjanku potasu brzmiały: „Jestem dowódcą Luftwaffe, ale nie mam Luftwaffe”.