Na ME 2003 jechali jako faworyt, w półfinale znowu doznali porażki z Francją tym razem 3:2, a w meczu o brąz przegrali z Rosją 3:1, przeciwnikiem z rundy grupowej, z którym wtedy wygrali (przegrali tylko ostatni mecz 3:2 z Polakami). Podczas LŚ 2004 w Rzymie zdobyli brąz po gładkim pokonaniu Bułgarów 3:0. Przyszły IO 2004 w Atenach, gdzie pojechali bronić tytułu. W pierwszym meczu zostali sensacyjnie rozgromieni przez Polskę 3:0, ale następnych meczów nie przegrali. Jednak na ich nieszczęście jakimś wirusem zarazili się ich podstawowi gracze m.in. Ivan Miljković, Vladimir Grbić, jego brat Nikola i Andrija Gerić. Mimo walki przegrali w ćwierćfinale z Rosją 3:1. W 2005 r. zostali gospodarzami finału LŚ, a także współgospodarzami ME wraz z Włochami. W rundzie grupowej LŚ wygrali 2 mecze z Polską, raz u siebie, raz w katowickim Spodku. W półfinałowym meczu LŚ w Belgradzie przegrywali już 2:0 i w 3. secie 22:17, jednak po silnych zagrywkach Miljkovicia wygrali 3. seta, pogrążając Polaków (trenowanych już przez Raúla Lozano) w 5 setach. Na ME u siebie nie mieli kłopotów z wygraniem grupy. Po emocjonującym półfinale z Włochami w Rzymie przegrali 3:2. W meczu o 3. miejsce gładko pokonali Hiszpanów 3:0. W kolejnym sezonie podczas Ligi Światowej w 2006 r.