W 1943 został powołany do Korpusu Lotniczego U.S. Army. Otrzymał przydział do formowanej w Greensboro Training Center orkiestry o wyłącznie czarnym składzie. Poprowadził ją Dave Burns trębacz, kompozytor, aranżer i edukator, który dokształcał go muzycznie. W 1946 wyszedł z wojska i jako saksofonista tenorowy dołączył do nowatorskiego, bebopowego big-bandu Dizzy’ego Gillespie’ego, którego członkami byli m.in. pianista Thelonious Monk i wibrafonista Milt Jackson. Z czasem połączyła go z Gillespie’em przyjaźń trwająca do końca życia bandlidera. Słynny trębacz został także jego mentorem. Tak z humorem wyrażał się o swoim „uczniu”: „Gdy gram z Jamesem Moodym, to jakbym grał ze sobą”. W orkiestrze Gillespie’ego występował przez dwa lata.
W 1948 dokonał dla wytwórni Blue Note swoich pierwszych nagrań w długiej karierze muzyka studyjnego. Zarejestrował swój debiutancki album James Moody and His Bop Men, grając na saksofonie i flecie. Był jednym z pierwszych znaczących flecistów jazzowych. W 1949 wyjechał do Paryża, twierdząc, że w Stanach Zjednoczonych „przestraszył go rasizm”. W rzeczywistości wyprawa do Francji i pobyt u mieszkającego tam wujka miały mu pomóc w zmaganiach z alkoholizmem. W Europie pozostał trzy lata, przezwyciężając nałóg i prowadząc aktywną działalność muzyczną.