W Fiorentinie pracował 3 lata, a następnie bez sukcesów szkolił zespoły z Serie A, takie jak US Catanzaro, FC Bologna, US Lecce i Delfino Pescara 1936.
W 1991 roku Mazzone został zatrudniony na stanowisku trenera Cagliari Calcio. W sezonie 1992/1993 drużyna z takimi zawodnikami jak Enzo Francescoli, Luis Oliveira i Francesco Moriero zajęła wysokie 6. miejsce w tabeli i dzięki temu zakwalifikowała się pierwszy raz do europejskich pucharów od czasu gry Luigiego Rivy w tym klubie.
Latem 1993 nowy prezes AS Roma Franco Sensi ściągnął Mazzone do swojego klubu. W 1994 roku zajął on 7. miejsce z zespołem „giallorossich”. W 1996 i 1997 były to miejsca piąte, ale ostatecznie z Romą nie wywalczył żadnego trofeum. Powrócił więc do Cagliari, a następnie szkolił piłkarzy SSC Napoli, ponownie Bologny, AC Perugia i Brescii Calcio. W tym ostatnim jednym z jego podopiecznych był Roberto Baggio. Był też niechlubnym bohaterem incydentu podczas spotkania z Atalantą BC w 2000 roku. Gdy jego drużyna zdobyła gola w 90. minucie spotkania, przebiegł ponad 70 metrów by słownie obrazić kibiców drużyny rywali.