W połowie sezonu 2000/2001, kiedy tytuł był jeszcze możliwy do zgarnięcia, zostało publicznie ogłoszone, że Lippi powróci na stanowisko trenera.
AC Milan Na początku następnego sezonu Ancelotti był o krok od powrotu do Parmy, jednak Milan przedstawił mu ofertę kontraktu, którą postanowił przyjąć. Został trenerem Milanu 6 listopada 2001. W pierwszym pełnym sezonie pracy w Mediolanie w 2003 r. zdobył z Milanem puchar Włoch oraz wygrał Ligę Mistrzów pokonując po rzutach karnych Juventus. Tym samym Carlo zemścił się na klubie, który bezpardonowo się go pozbył. Andrij Szewczenko strzelił decydującego karnego, a tym samym sprawił, że Ancelotti został jednym z sześciu ludzi, którzy Puchar Europy wznieśli zarówno jako gracze i trenerzy.
Milan w Serie A pod jego wodzą notował stały postęp, w pierwszym sezonie zajął 4. miejsce, w następnym sezonie, w którym Ancelotti prowadził Milan od początku, zajął 3. miejsce, aż do Scudetto, które wzniósł w sezonie 2003/04, uzyskując nad drugą Romą przewagę aż 11 punktów.