Tarver wygrał ten pojedynek jednogłośnie na punkty.
Tarver stracił swój mistrzowski pas już w następnej walce, 8 listopada 2003, przegrywając na punkty decyzją większości z Royem Jonesem Jr.
15 maja 2004 doszło do walki rewanżowej obu pięściarzy. Tym razem lepszy okazał się Tarver, pokonując Jonesa Jr. przez techniczny nokaut już w drugiej rundzie. Tym zwycięstwem Tarver zdobył pasy mistrzowskie WBC i WBA.
Pod koniec 2004 Tarver zrezygnował z pojedynku z oficjalnym pretendentem do tytułu i zdecydował się na walkę z Glenem Johnsonem, mistrzem IBF. W konsekwencji WBA i WBC odebrały mu tytuł mistrza świata. Tak samo w stosunku do Johnsona postąpiła IBF. Do pojedynku doszło 18 grudnia. Zwyciężył Johnson niejednogłośną decyzją na punkty. Tarver zrewanżował się Jamajczykowi w czerwcu następnego roku, wygrywając w powtórzonej walce, także na punkty.
1 października 2005 doszło do trzeciej walki z Jonesem Jr. Po raz drugi lepszy okazał się Tarver (wygrał zdecydowanie na punkty). W 2006 stoczył tylko jeden pojedynek – przegrał na punkty z Bernardem Hopkinsem, byłym mistrzem świata wszystkich czterech największych organizacji bokserskich w kategorii średniej.