W 1941 został powołany do U.S. Army. Po zakończeniu II wojny światowej i zwolnieniu z wojska wrócił do muzyki. Występował w zespołach bebopowych, ale żeby móc się utrzymać, musiał przestawić się na granie dixielandu. Był członkiem m.in. formacji Rex Stewart and His Dixielanders. Jednocześnie komponował, ale jego muzyka, będąca konglomeratem dixielandu, swingu, bopowych wpływów Monka, folku z Karaibów i klasycznej harmonii europejskiej wywodzącej się z twórczości Erika Satie i Béli Bartóka, była zbyt skomplikowana i nie polegająca żadnym klasyfikacjom, żeby spodobać się ówczesnym odbiorcom jazzu. Jego kompozycje zainteresowały jednak pianistkę Mary Lou Williams, która w 1951 nagrała jego utwór Opus Z, pierwotnie noszący tytuł: Stennell. Sam od 1947 starał się podpisać kontrakt z wytwórnią płytową Blue Note. Udało mu się nagrać trzy płyty dopiero w latach 1955–1956. Wtedy także skomponował utwór „Serenade”, który po opatrzeniu tekstem został przemianowany na Lady Sings the Blues. Nagrała go w 1956 autorka słów – Billie Holiday, czyniąc swoim „znakiem firmowym”. Na początku lat 60. w ramach różnych angaży pracował także w klubach, akompaniując wokalistom jazzowym, m.in.