W trzeciej klasie szkoły średniej porzucił naukę i zaczął w Filadelfii nagrywać wałki fonograficzne z utworami fortepianowymi dla firmy Aeolian.
W 1922 dołączył do orkiestry The California Ramblers, występując również w jej dwóch odgałęzieniach: The Little Ramblers i The Goofus Five. Grał na fortepianie, ksylofonie, perkusji, goofusie oraz saksofonie basowym. Według autobiografii jego brata, pt. Thirty Years with the Big Bands, na saksofonie basowym nauczył się grać w ciągu tygodnia, ponadto występując w zespole The Goofus Five, jako pierwszy zastosował w jazzie rzeczony goofus. To właśnie podczas pracy z ww. formacjami wykształcił swój charakterystyczny, dynamiczny styl gry na saksofonie. W tym czasie również stał się cenionym muzykiem na nowojorskiej scenie jazzowej. Dokonywał licznych nagrań, m.in. z takimi artystami jak Annette Hanshaw, Cliff „Ukulele Ike” Edwards, Joe Venuti, Miff Mole, Red Nichols, Bix Beiderbecke, Roger Wolfe Kahn i Frankie Trumbauer.