Już poza szkołą, którą Jimmy porzucił po dwóch latach, swój pierwszy zawodowy angaż muzyczny podjęli jako The Blue Friars.

W 1924 wyjechał do Nowego Jorku, żeby wziąć udział w przesłuchaniach kandydatów na zastępcę Bixa Beiderbecke’a w The Wolverines Orchestra. Beiderbecke, który był jego kornetowym idolem, po przesłuchaniu skomplementował go słowami: „Podobasz mi się, młody. Brzmisz jak ja, ale mnie nie naśladuj”. Później zaprzyjaźnili się do tego stopnia, że Beiderbecke wybrał mu kornet, na którym grał przez całą karierę. Kiedy Bix odszedł z The Wolverines, zajął jego miejsce. W latach 1926–1927 grał w zespołach Arta Kassela oraz McKenzie-Condon's Chicagoans, z którym wziął udział w słynnej sesji nagraniowej, rejestrując m.in. utwory China Boy i Nobody's Sweetheart. W 1927 dołączył na dwa lata do orkiestry Bena Pollacka i grał u boku Benny’ego Goodmana oraz Glenna Millera.

W 1930 wrócił do Chicago, gdzie grał ze swoim bratem, Dickiem, w grupie The Embassy Four. Był bandliderem, wokalistą i konferansjerem podczas występów zespołu w nocnym klubie The Three Deuces. W latach 1931–1936 współpracował także z piosenkarzem Russem Columbo i zespołem Harry’ego Resera.