Przez rokroczne spadki i awanse klub zaczął być nazywany „windą”, ponieważ aż siedmiokrotnie awansował do Bundesligi, ale jednocześnie spadał z niej sześciokrotnie.
Po dwóch awansach klub powrócił na najwyższy poziom rozgrywkowy w 2004. Tym razem pozostał w Bundeslidze przez pięć lat. W tym czasie klub dwukrotnie dotarł do półfinału Pucharu Niemiec, w sezonach 2004/05 i 2005/06. Po zakończeniu sezonu 2008/2009 klub wrócił do 2. Bundesligi.
W latach 2009–2011 klub dwukrotnie zajął ostatnie miejsce i dwukrotnie spadł z ligi.
W sezonie 2014/15, jako klub występujący w 3. Lidze wyeliminował w Pucharze Niemiec trzy drużyny z Bundesligi: Herthę Berlin w 1/16 finału, Werder Brema w 1/8 finału i Borussię Mönchengladbach w ćwierćfinale. W tym samym sezonie udało się zespołowi uzyskać promocję do drugiej ligi.
W sezonie 2019/2020 zespołowi Arminii po 11 latach udało się wywalczyć awans do Bundesligi na trzy kolejki przed końcem sezonu (dzięki remisowi HSV z VfL Osnabrück 1:1). Poz.KlubMPkt.MeczeBramkizwy.rem.por.zdob.stra.+/-1Arminia Bielefeld3468181426530 +352VfB Stuttgart3458177106241 +2131.