W międzyczasie Ali pokonał Earniego Shaversa, 10. raz z rzędu broniąc mistrzostwo świata. Następnymi w kolejce pretendentami byli Young i Ken Norton, jednak mistrz odmówił walki zarówno z jednym, jak i drugim, żądając, aby wpierw stoczyli oni pojedynek między sobą. W rezultacie, 5 listopada 1977 roku w Las Vegas Young i Norton (39-4-0) zmierzyli się o miano pretendenta nr 1. Po wyrównanej walce sędziowie niejednogłośnie orzekli zwycięstwo Nortona (147-143, 147-143, 142-144).
Był to szczytowy moment kariery Jimmy’ego Younga. W ciągu następnych trzech lat niespodziewanie przegrał na punkty z Ossiem Ocasio (dwukrotnie) i Michaelem Dokesem oraz został znokautowany przez Gerry’ego Cooneya. W schyłkowym okresie kariery, od 1982 do 1988 roku, poniósł porażki w 9 z 13 swoich walk (jednak żadnej przed czasem), w tym z trzema późniejszymi mistrzami wagi ciężkiej: Gregiem Page’em, Tonym Tubbsem i Tonym Tuckerem. Ostatnią walkę stoczył w sierpniu 1988 roku, w wieku 39 lat.
Po przejściu na sportową emeryturę Young zmagał się z problemami finansowymi oraz zdrowotnymi, walczył z nałogiem narkotykowym. Zmarł w 2005 roku w szpitalu uniwersyteckim w Filadelfii w rezultacie zawału serca.