W latach 1940–1941 spółka wyprodukowała dla armii III Rzeszy 6 egzemplarzy ciężkich samobieżnych moździerzy oblężniczych 60-cm Karl Gerät 040. Z powodu alianckich nalotów na siedziby firmy w Düsseldorfie i Berlinie zakłady rozdrobniono, część z nich przeniesiono na teren środkowych i wschodnich Niemiec, między innymi do Gubina i Wrocławia. Pod koniec II wojny światowej miała 12 głównych zakładów i zatrudniała 85 tys. pracowników (w tym wielu wywiezionych na roboty przymusowe i więźniów, firmę obsługiwał m.in. stworzony na jej potrzeby obóz pracy przymusowej na Psim Polu). Produkowała również amunicję do wszystkich dział artyleryjskich.
Po II wojnie, na terenie NRD dawną fabrykę Rheinmetall w Sömmerdzie przekształcono w 1952 roku w VEB Mechanik Büromaschinenwerk Rheinmetall Sömmerda i produkowano tam maszyny do pisania i liczenia, silniki do motorowerów oraz kamery filmowe.
Na terenie RFN fabryka Rheinmetall w Düsseldorfie produkowała po II wojnie maszyny do pisania, amortyzatory, windy, maszyny garbarskie oraz urządzenia transportowe i załadunkowe.
W 1956 firma podejmuje ponownie produkcję uzbrojenia, początkowo broń maszynową, a od 1964 także ciężkiego uzbrojenia.