W następnych latach regularnie nagrywał płyty i występował. Pod koniec listopada 1972 koncertował z japońskim big-bandem Sharps and Flats oraz kwartetem trębacza Terumasy Hino. Wziął także udział w trzech sesjach nagraniowych z muzykami japońskimi. W 1980 ukazał się jego album Once in Every Life, który otrzymał nominacje do nagrody Grammy w kategorii „Best Jazz Vocal Performance, Male” („Najlepszy jazzowy męski występ wokalny”). W tym samym roku nagrał swoją ostatnią płytę pt. This One’s for Tedi. Album dedykował swojej drugiej żonie – Theodorze, tancerce i sekretarce zwanej „Tedi”, która pozostała z nim do końca jego życia. Małżonkowie mieli dwie córki – Lori i Tedi.
Zmarł na raka płuc w nowojorskim Memorial Sloan Kettering Cancer Center. Miał 60 lat.
Wybrana dyskografia Jako lider lub współlider 1956 Songs from the Heart – Johnny Hartman (Bethlehem) Just You, Just Me... – Johnny Hartman Sings (Regent) 1957 All of Me – The Debonair Mr. Hartman (Bethlehem) 1959 And I Thought About You (Roost Records) 1963 John Coltrane and Johnny Hartman (Impulse!