W pierwszej połowie lat 30. dokonał kilku nagrań, które zaprezentowały jego wirtuozerię i wyobraźnię muzyczną. W dwóch utworach – Dance of the Octopus i In a Mist – na klarnecie basowym (co było rzadkością), pięknie zagrał Benny Goodman. W 1935 założył The Red Norvo Swing Sextet, który w krótkim czasie przekształcił się w big-band. Dzięki aranżacjom Eddiego Sautera The Red Norvo Swing Orchestra miała (szczególnie w początkowym okresie istnienia) oryginalne brzmienie z zawsze słyszalnym ksylofonem lidera. Zespół cieszył się dużą popularnością. Miał długotrwałe angaże w nowojorskim hotelu Commodore i chicagowskiej restauracji Blackhawk, z której przeprowadzano ogólnokrajowe transmisje radiowe pn. „Live! From the Blackhawk!”. W 1944, m.in. idąc za przykładem Lionela Hamptona, zamienił ksylofon na bardziej dynamiczny wibrafon. W tym samym roku rozwiązał też orkiestrę i podjął pracę w sekstecie Benny’ego Goodmana. Niemal równocześnie sformował septet, z którym występował w nowojorskim klubie Famous Door, grając z powodzeniem jazz bliski rozpoczynającemu wówczas dominację stylowi bebop. W 1945 dla wytwórni Comet odbył sesję nagraniową z współtwórcami nowego nurtu – saksofonistą Charliem Parkerem i Dizzym Gillespiem.