Sezon 2001/2002 Nowym trenerem zespołu został Fatih Terim, poprzednio szkoleniowiec Fiorentiny. Do drużyny Milanu dołączyli zawodnicy tworzący trzon zespołu w późniejszych latach: Andrea Pirlo, Filippo Inzaghi i Kacha Kaladze. Jednak za kadencji Terima klub nie grał tak jak się tego spodziewano. Gdy po dłuższym okresie zespół nie zdołał awansować do czołowej piątki ligi, turecki trener został zwolniony, a jego miejsce zajął były gracz Milanu, Carlo Ancelotti.
Od momentu przejęcia przez niego drużyny zespół zaczął osiągać o wiele lepsze wyniki niż w poprzednich latach. Sezon został zakończony czwartym miejscem, co dawało Milanowi prawo gry w kwalifikacjach Ligi Mistrzów. W Pucharze Włoch Milan został wyeliminowany w półfinale przez Juventus F.C.
W rozgrywkach Pucharu UEFA Milanowi udało się dojść po raz drugi w historii do półfinału, w którym trafił na Borussię Dortmund. Jednak wyjazdowy mecz zupełnie nie wyszedł zespołowi, porażka 0:4 przekreślała raczej szanse na awans. W rewanżu gracze Milanu dali z siebie wszystko.