W 1938 zamieszkał w Nowym Jorku. Pracował z orkiestrami Caba Callowaya, Dona Redmana, Edgara Hayesa i Lionela Hamptona. W 1939 dokonał swoich pierwszych nagrań z formacją Hamptona. Wtedy także objął kierownictwo orkiestry klubu Small's Paradise w Harlemie, którą z przerwami prowadził przez cztery lata. Na początku lat 40. pracował również jako sideman, m.in. uczestniczył w słynnych bebopowych jam sessions w klubie Minton’s Playhouse, grając z Dizzym Gillespiem, Theloniousem Monkiem i Charliem Parkerem (jako jeden z nielicznych saksofonistów nie uległ wpływowi „Birda”). Ponadto w większym stopniu niż dotychczas zaczął zajmować się komponowaniem i aranżowaniem utworów. Dla orkiestry Gene’a Krupy napisał piosenkę Let Me Off Uptown, która w 1941 stała się przebojem. Zaśpiewała ją Anita O’Day, a efektowne solo na trąbce zagrał Roy Eldridge. Jego utwory Brooklyn Bridge i The Major and the Minor z powodzeniem wykonywały orkiestry Louisa Primy i Alvino Reya.