w klasyfikacji ATP z 67 zwycięskimi meczami na koncie. Reprezentując swój kraj w Pucharze Davisa awansował z zespołem do finału, w którym Hiszpanie przegrali 1:3 z Australią. Ferrero poniósł 5–setowe porażki z Lleytonem Hewittem i Markiem Philippoussisem.
Najlepszy wielkoszlemowy rezultat w sezonie 2004 Ferrero ustanowił podczas Australian Open, awansując do półfinału, w którym uległ Rogerowi Federerowi. Został finalistą 1 turnieju, halowej imprezy w Rotterdamie. Kilkakrotnie w ciągu roku leczył kontuzje, np. przed French Open urazy nadgarstka i żeber. W paryskim turnieju startował nie w pełni przygotowany, przez co odpadł z rywalizacji w 2 rundzie. Hiszpan zagrał na igrzyskach olimpijskich w Atenach, ponosząc porażkę w 2 rundzie. Na koniec roku sklasyfikowano go na 31. miejscu rankingu ATP. W sezonie tym po raz drugi w karierze zdobył z reprezentacją Puchar Davisa. Hiszpanie triumfowali 3:2 ze Stanami Zjednoczonymi w finale, a Ferrero przegrał mecz deblowy partnerując Tommyemu Robredo. W ćwierćfinałowej rywalizacji z Holandią Frerrero wywalczył 2 punkty, a w półfinale przeciwko Francji 1 punkt.