Na jego młodzieńczą twórczość duży wpływ miał wokalista rhythmandbluesowy i piosenkopisarz, twórca kilku przebojów – Percy Mayfield.

W 1945 podjął studia na Uniwersytecie Mississippi (Ole Miss), ale w następnym roku opuścił uczelnię i wstąpił do U.S. Army. Pod koniec lat 40. zakończył służbę i rozpoczął naukę na Louisiana State University. W 1952 uzyskał licencjat z filologii angielskiej oraz specjalizację (minor degree) z filozofii.

W 1956 przeniósł się do Nowego Jorku (później przez wiele lat mieszkał na Long Island). Szybko wkroczył do świata jazzu, dołączając do kręgu muzyków post-bopowych. Jego mentorem został saksofonista Al Cohn, z którym również występował i nagrywał. Grał także z innymi czołowymi jazzmanami, takimi jak Gerry Mulligan, Stan Getz, Zoot Sims i Phil Woods.

Po podpisaniu kontraktu z wytwórnią Prestige nagrał jako lider swoją pierwszą płytę: Back Country Suite. Album, nawiązujący do bluesowych tradycji delty Missisipi, został dobrze przyjęty przez słuchaczy i krytyków. W 1958 założył trio, w którym grali także gitarzysta basowy Addison Farmer oraz perkusista Nick Stabulas. W 1963 firma Prestige zgodziła się na wydanie albumu zawierającego wyłącznie piosenki.