W 1948 zaprosił go do swojego big-bandu na ośmiotygodniowe tournée po Kalifornii współtwórca stylu bebop – trębacz Dizzy Gillespie. Ich współpraca zyskała uznanie dzięki kontrastowi, jaki stanowiły ekspresyjna gra Gillespiego i jego spokojny, łagodny śpiew. Wbrew pierwszym ustaleniom, pozostał w orkiestrze przez ponad rok. Później niedługo współpracował z triem pianisty Errolla Garnera, żeby na początku 1950 rozpocząć karierę solową.
Po nagraniu kilku singli z piosenkami z gatunku bliskiego muzyce popularnej, późną jesienią 1955 zarejestrował swój pierwszy album pt. Songs from the Heart. Na płycie, która ukazała się na początku następnego roku, towarzyszył mu kwartet trębacza Howarda McGhee. Później rzadko nagrywał i głównie koncertował. Dopiero w 1963 jego kariera przyspieszyła za sprawą albumu nagranego z jednym z gigantów jazzu, saksofonistą Johnem Coltrane’em. Balladowa w wyrazie płyta John Coltrane and Johnny Hartman, zawierająca takie standardy jak Lush Life i My One and Only Love, weszła do fonograficznej klasyki jazzu. W tym samym roku odbył tournée po Japonii z zespołem Arta Blakeya.