Po II wojnie światowej zespół grał na niższych poziomach rozrywkowych zachodnich Niemiec. W 1963 roku zespół awansował do Regionalligi West. Zespół pozostał w tej lidze do końca lat sześćdziesiątych XX wieku. W 1970 roku klub po raz pierwszy awansował do Bundesligi. w 1971 niektórzy piłkarze klubu brali udział w skandalu związanym z przekupieniem graczy kilku klubów, między innymi Herthy Berlin, FC Schalke 04 czy FC Köln, celem utrzymania się Arminii w lidze. W 1971/72, w związku z aferą klub spadł do 2. Bundesligi.
W sezonie 1976/77 klub przegrał w play-offach o grę w najwyższej klasie rozgrywkowej z TSV 1860 München. Zespół ponownie awansował do Bundesligi w sezonie 1978/79. Klub po pierwszym sezonie został zdegradowany, ale po roku wrócił do najwyższego poziomu rozgrywkowego, utrzymując się na nim przez pięć kolejnych lat. W 1985 roku, po przegraniu play-offu z 1. FC Saarbrücken zespół został zdegradowany do 2. Bundesligi. Po trzech latach klub ponownie spadł, tym razem do Oberliga Westfalen. Zespół występował na trzecim poziomie rozgrywkowym przez siedem sezonów. W sezonie 1996/97 zespół ponownie wrócił do Bundesligi, utrzymując się w niej przez 2 następne sezony. Kiedy trenerem był Bruno Labbadia klub często spadał do 2. Bundesligi, aby po roku ponownie awansować do najwyższej klasy rozgrywkowej.