W 2004 Calzaghe zaliczył kolejne dwa zwycięskie pojedynki – z bokserem z Armenii, Mgerem Mkrtchianem (TKO w siódmej rundzie) oraz na punkty z Egipcjaninem Kabary Salemem. Walijczyk był liczony w czwartej rundzie, Salem leżał na deskach w rundzie 12. Obaj pięściarze zostali ukarani odjęciem punktu za umyślne uderzenia głową. W maju następnego roku po raz drugi zwyciężył z Mario Veitem (TKO w szóstej rundzie), a 9 września wygrał na punkty z Kenijczykiem Evansem Ashirą. Calzaghe w trzeciej rundzie doznał kontuzji lewej ręki i do końca pojedynku używał tylko prawej.
4 marca 2006 zmierzył się w walce unifikacyjnej z mistrzem świata IBF, Jeffem Lacy. Walijczyk wygrał ten pojedynek na punkty. Siedem miesięcy później pokonał, także na punkty, Sakio Bikę. W listopadzie 2006 stracił pas mistrzowski IBF, ponieważ odmówił walki z oficjalnym pretendentem do tytułu, Robertem Stieglitzem. 7 kwietnia 2007 wygrał przez techniczny nokaut w trzeciej rundzie z Peterem Manfredo Jr.
3 listopada 2007 doszło do walki unifikacyjnej organizacji WBC, WBA i WBO między Calzaghe i Mikkelem Kesslerem. Walijczyk wygrał zdecydowanie na punkty.