26 grudnia 1898 wystąpił po raz pierwszy na deskach La Scali, gdzie pracował przez kilka lat. Kierownictwo muzyczne La Scali Toscanini obejmował w latach 1898–1907 i 1920–1929. Największymi jego osiągnięciami były przedstawienia Falstaffa Verdiego i Turandot Pucciniego (przerwany w miejscu, w którym urywa się rękopis). Był propagatorem muzyki ówcześnie współczesnej, wiele słynnych później dzieł było wykonanych we Włoszech pod jego dyrekcją po raz pierwszy, m.in. Morze Debussy’ego czy Pietruszka Strawinskiego.

Następnie przeniósł się do Metropolitan Opera w Nowym Jorku, a potem krążył między Mediolanem a Nowym Jorkiem oraz występował w wielu innych miejscach. W 1936 założył Orkiestrę Symfoniczną Radia Nowojorskiego i uczynił z niej jeden z najznakomitszych zespołów orkiestrowych świata.

W 1928 na koncercie w Bolonii Toscanini odmówił dyrygowania faszystowskim hymnem i wkrótce po tym opuścił Włochy. Zrezygnował z występów w ojczyźnie, a następnie zaprzestał występów w Bayreuth i Salzburgu. W latach 1928–1936 był dyrektorem muzycznym Filharmonii Nowojorskiej. W czasie II wojny światowej przebywał w USA dając wiele koncertów dla żołnierzy.