Z 1961 pochodzi, uznawana za klasyczną, płyta The Blues and the Abstract Truth. Do jej nagrania zaprosił wybitnych instrumentalistów: saksofonistę i flecistę Erica Dolphy'ego, trębacza Freddiego Hubbarda, pianistę Billa Evansa, kontrabasistę Paula Chambersa i perkusistę Roya Haynesa. Dzięki niej spopularyzował też swoją kompozycję Stolen Moments, którą już wcześniej nagrał Eddie „Lockjaw” Davis.
Od 1960 do 1961 grał w zespołach Counta Basiego i Duke’a Ellingtona. Następnie jako saksofonista tenorowy dołączył do big-bandu Quincy'ego Jonesa, z którym odbył duże trasy koncertowe w kraju oraz Europie. Mimo że był wyróżniającym się instrumentalistą, stał się przede wziętym aranżerem, który orkiestrował płyty takich sław jazzu, jak pianiści Thelonious Monk i Billy Taylor, saksofoniści Cannonball Adderley, Sonny Rollins, „Lockjaw" Davis, Johnny Hodges, Stanley Turrentine i Gene Ammons, gitarzysta Wes Montgomery, perkusista Buddy Rich, organista Jimmy Smith, oraz wokalistka Irene Reid. Rollinsowi zaaranżował także muzykę do filmu fabularnego Alfie oraz albumu o takim samym tytule. W 1966 napisał również podręcznik Patterns for Improvisation (Wzory improwizacji), który nadal cieszy się popularnością wśród adeptów jazzu. Ponadto w latach 1966–1975 prowadził kilka big-bandów All-Stars podczas szeregu prestiżowych koncertów.