ostatni wielki sukces odniosła w 1996 (zdobyła wtedy mistrzostwo Europy po wygranej z Czechami 2:1 – przesądziły o tym dwa gole Olivera Bierhoffa w tym złoty, w dogrywce), z kolei występ na mundialu 1998 zakończyła na ćwierćfinale. Dwa lata później, na Euro 2000 Niemcy nie wyszli z grupy, co zostało uznane w kraju trzykrotnych mistrzów świata za kompromitację. W Bundeslidze brakowało młodych, utalentowanych piłkarzy, więc siłą rzeczy trzon reprezentacji cały czas oparty był na zawodnikach doświadczonych. Po turnieju w Belgii i Holandii nowym selekcjonerem kadry narodowej został Rudi Völler, który rozpoczął swoją kadencję od trzech cennych zwycięstw (4:1 w spotkaniu towarzyskim z Hiszpanią oraz 2:0 z Grecją i 1:0 z Anglią w kwalifikacjach do mistrzostw świata), później jednak jego podopieczni dwukrotnie w eliminacjach zremisowali z Finlandią (2:2 i 0:0) i we wrześniu 2001 wysoko ulegli Anglikom w meczu rewanżowym. Porażka 1:5 w Monachium oznaczała konieczność gry w barażach. Podczas dwumeczu z Ukrainą (1:1, 4:1) na nowego lidera drużyny wybił się Michael Ballack.