Już w wieku trzech lat zaczął występować na estradzie, stepując do muzyki zespołu swojego ojca. Jego bracia grali na instrumentach – Russell na trąbce, a Linton na perkusji. Jako nastolatek i on zaczął grać na bębnach. W szkole średniej zmienił instrument na saksofon altowy. Mając piętnaście lat grał w lokalnej orkiestrze tanecznej Milta Larkina.
W 1939 wyjechał do Los Angeles. Tam poznał pianistę Nat „King” Cole’a, z którego triem niekiedy występował. W 1940 King przedstawił go wibrafoniście i bandliderowi Lionelowi Hamptonowi, który zaangażował go swojej orkiestry, prosząc by zamienił saksofon altowy na tenorowy. W 1942, mając niespełna dwadzieścia lat, nagrał swoje słynne solo w utworze Flying Home, które uczyniło go gwiazdorem saksofonu tenorowego, a sam utwór – przebojem. Jego następcy w big-bandzie Hamptona, m.in. Arnett Cobb i Dexter Gordon, uczyli się na pamięć tej solówki, żeby wykonywać ją na koncertach. Po odejściu z zespołu Hamptona był wiodącym solistą w orkiestrach Caba Callowaya (1943–1944) i Counta Basiego (1945–1946). 2 lipca 1944 wziął udział w pierwszym koncercie pn. „Jazz at the Philharmonic” (JATP), zorganizowanym w Los Angeles przez impresaria jazzowego Normana Granza [dostęp 2024-08-04].