Juventus Ancelotti został jednak zauważony przez Juventus, który potrzebował nowego trenera za sterem włoskiej drużyny, po odejściu Marcello Lippiego do Interu w lecie 1999 r. Juventus zajął w sezonie 1998/99 dopiero szóstą lokatę, mimo że bronił tego trofeum. Lippi odszedł przed końcem sezonu, w lutym 1999 r. i Ancelotti znalazł pracę wcześniej niż planowano, przejął również Ligę Mistrzów, którą ostatecznie zakończył z zespołem na etapie półfinału, wyeliminowany przez Manchester United.
Początkowo powołanie byłego gracza Milanu i Romy nie było popularne wśród części tifosi Juve i kibice byli przeciwni Ancelottiemu. Swoją pracę z Juventusem Carlo zaczął od czyszczenia składu. Ofiarą jego polityki był m.in. Didier Deschamps, który przeszedł do Chelsea na jeden sezon. Ancelotti oprócz pozbywania się graczy dodał nowe twarze, takie jak Gianluca Zambrotta i Edwin van der Sar.
Z Zinedinem Zidanem, Filippo Inzaghim oraz Alessandro Del Piero dostarczył nową jakość, Juventus pod wodzą Ancelottiego poprawił się w wystarczającym stopniu, by kolejny sezon skończyć na drugim miejscu (tracąc tylko punkt do lidera Lazio), aczkolwiek nie zdobył żadnego trofeum.