W sierpniu 1929 dołączył w Nowym Jorku do big-bandu Duke’a Ellingtona. Choć rzadko występował jako solista, był moderatorem gry zespołowej, stając się ważnym muzykiem w orkiestrze. Był przy tym biegłym instrumentalistą, który nie tylko prowadził sekcję puzonów, ale w razie potrzeby potrafił swoją grą zastąpić brakującego w danej chwili saksofonistę. Został uznany za pierwszego w jazzie znaczącego puzonistę wentylowego. Skomponowane przez niego utwory Caravan i Perdido stały się znakami firmowymi orkiestry Ellingtona oraz nienaruszalnymi punktami jej repertuaru. Ponadto Karawana została jedną z najbardziej rozpoznawalnych kompozycji w historii jazzu, zarejestrowano ponad pięćset różnych wykonań.
Po piętnastu latach z Ellingtonem w kwietniu 1944 przeniósł się na Zachodnie Wybrzeże do orkiestry Harry’ego Jamesa. Chciał bowiem częściej bywać w swoim domu w Kalifornii. Pracował w niej do marca 1951. Doszło wtedy do „Wielkiej grabieży u Jamesa”, którego trzech muzyków przeszło do zespołu Ellingtona. Duke potrzebował trzech instrumentalistów, odeszła od niego bowiem trójka: saksofonista Johnny Hodges, perkusista Sonny Greer i puzonista Lawrence Brown. Po powrocie do Ellingtona grał z nim do 1953. Następnie ponownie przeniósł się do orkiestry Jamesa, w której pozostał do końca dziesięciolecia.