W 1994 nagrał uznawany za jego najlepszy album Tangence. Podczas nagrań wspierała go 50-osobowa orkiestra idola puzonisty Roberta Farnona. Przez całe lata 90. odnosił największe sukcesy. Później zachorował na raka prostaty i popełnił samobójstwo 4 lutego 2001.
Dyskografia Sonny Stitt / Bud Powell / J.J. Johnson (z Budem Powellem i Sonnym Stittem) (1950) Jay & Kai (jako Jay & Kai) (1954) Kai And Jay, Bennie Green With Strings (jako Jay & Kai z Bennie Greenem) (1954) Trombone for Two (jako Jay & Kai) (1955 lub 1956) Dave Brubeck and Jay & Kai at Newport (jako Jay & Kai z Dave’em Brubeckiem) (1956) Trombone by Three (z Kai Windingiem i Bennie Greenem) (1956) Stan Getz and J.J Johnson at the Opera House (ze Stanem Getzem) (1957) Blue Trombone (1957) First Place (1957) J.J. Johnson's Jazz Quartets (1957) A Touch of Satin (1960) Andre Previn and J.J. Johnson Play Mack the Knife and Bilbao Song (z Andre Previnem) (1961) Trombone Master (1961) Man and Boy (Original Motion Picture Store) (1971) Yokohoma Concert (1977) Concepts in Blue (1980) Aurex Jazz Festival (1982): All Star Jam (1982) Let's Hang Out (1993) Tangence (z Robertem Farnonem) (1994) Heroes (1999)