W 1939, mając szesnaście lat, dołączył do zespołu Tommy’ego Reynoldsa, grając na saksofonie tenorowym. Następnie do 1944 grał już głównie na barytonie w orkiestrach Dicka Rogersa, Shepa Fieldsa i Iny Ray Hutton. W lipcu 1944 wszedł w skład big-bandu Boyda Raeburna. Grał w nim ze współtwórcą bebopu, trębaczem Dizzym Gillespiem i saksofonistą Alem Cohnem, z którym połączyła go przyjaźń na całe życie. Wraz z Raeburnem dokonał w styczniu 1945 swoich pierwszych nagrań. Zarejestrował m.in. utwór A Night in Tunisia (Interlude) Gillespiego, w którego początkowej części słychać jego saksofonAlun Morgan, Serge Chaloff – An Introduction and Discography, „Jazz Monthly”, październik 1957.. W tym czasie poznał kolejnego współtwórcę bebopu, saksofonistę altowego Charliego Parkera, który wywarł na niego wielki wpływ. Spędzał z nim wiele czasu w klubach Nowego Jorku w otoczeniu czołowych muzyków bebopowych.