W 1937 sformował swój pierwszy zespół jazzowy – The Mad Hatters, z którym występował w Pittsburghu i okolicach. Gdy w 1938 do miasta zawitał z koncertami Duke Ellington, kolega przedstawił go słynnemu bandliderowi. Po przesłuchaniu Ellington natychmiast dał mu zlecenie. W styczniu 1939 wyjechał do Nowego Jorku, żeby dołączyć do big-bandu Ellingtona w charakterze aranżera, kompozytora i okazjonalnego pianisty. Bandlider nazywał go swoim współpracownikiem, gdyż jak podobno orzekł: „Nie mam dla ciebie konkretnego stanowiska, więc rób, na co tylko masz ochotę”. Taki status zachowywał w orkiestrze przez ćwierć wieku. Od początku pobytu w zespole nie ukrywał swojego homoseksualizmu. Przez syna Ellingtona – Mercera poznał swojego pierwszego partnera. Był nim afroamerykański muzyk – Aaron Bridgers, z którym mieszkał do jego wyjazdu do Paryża w 1947.
Przez lata współpracował z Ellingtonem przy wielu dużych formach muzycznych, takich jak Such Sweet Thunder, The Shakespearean Suite, A Drum Is a Woman, The Nutcracker Suite, The Perfume Suite, Deep South Suite i The Far East Suite, oraz musicalach: Jump for Joy i Saturday Laughter.