W dalszej fazie nie sprostał Ivanowi Ljubičiciowi przegrywając w czterech setach.
Na trawiastych kortach Wimbledonu Blake odpadał w II rundzie, po porażce w trzech setach z Sarkisem Sarksianem.
Broniący tytułu wywalczonego w 2002 roku Blake doszedł do ćwierćfinału w Waszyngtonie, przegrywając z Agassim. W Montrealu i Cincinnati odpadał z rywalizacji w II i III rundzie. Swój pierwszy w sezonie finał zagrał w Long Island, eliminując m.in. Tommy’ego Robredo. Mecz o tytuł przegrał z Paradornem Srichaphanem 2:6, 4:6. Start na US Open zakończył na III rundzie po porażce z będącym na drugim miejscu w rankingu ATP Rogerem Federerem.
Na koniec roku James Blake został sklasyfikowany jako 37. zawodnik na świecie.
Sezon 2004 Nowy sezon Amerykanin zaczął od IV rundy w Melbourne, przegrywając w meczu o ćwierćfinał z późniejszym finalistą imprezy, Maratem Safinem. W lutym wygrał deblowe rozgrywki w San José, partnerując Mardy’emu Fishowi. W finale odniósł zwycięstwo nad duetem Rick Leach-Brian MacPhie 6:2, 7:5.
Na początku marca Amerykanin uzyskał ćwierćfinał zawodów w Scottsdale, przegrywając z Vince’em Spadeą. Podczas turnieju w Indian Wells po raz drugi z rzędu doszedł do ćwierćfinału, wygrywając m.in. z Robbym Gineprim;