Ponadto w lutym osiągnął finał debla w Acapulco, jednak w finale przegrał wspólnie z Fernando Vicente z parą Mark Knowles-Daniel Nestor.
W 2004 roku Ferrer dotarł co najmniej do ćwierćfinału w siedmiu turniejach w cyklu ATP World Tour; odniósł dwa zwycięstwa nad rywalami z czołowej dziesiątki na świecie (Nalbandianem i Ferrero), sam po raz pierwszy w karierze awansował do najlepszej pięćdziesiątki rankingu.
W 2005 roku do końca lutego wygrał dwa turnieje w grze podwójnej, najpierw w Viña del Mar, a potem w Acapulco. W obu turniejach partnerował Santiago Venturze. W połowie kwietnia dotarł do finału singla w Walencji, jednak przegrał finałowy mecz z Rosjaninem Andriejewem. W maju awansował do pierwszego w karierze ćwierćfinału wielkoszlemowego – w turnieju French Open wyeliminował obrońcę tytułu Gastóna Gaudio, a przegrał z późniejszym triumfatorem Rafaelem Nadalem.
Sezon 2006 Hiszpan zakończył z singlowym tytułem w Stuttgarcie, po pokonaniu w finale Acasuso. Ponadto awansował również do półfinału rozgrywek ATP Masters Series w Miami, gdzie po drodze wyeliminował Andy’ego Roddicka;