nad Rainerem Schüttlerem, jednak pojedynek finałowy przegrał z Rogerem Federerem, zdobywając zaledwie trzy gemy w całym pojedynku. W Wimbledonie odpadł już w II fazie z Thomasem Johanssonem.

W lipcu, na betonowych kortach w Los Angeles Fish dotarł do ćwierćfinału przegrywając z Francuzem Cyrilem Saulnierem. Tego roku odbyły się również igrzyska olimpijskie w Atenach, podczas których zdobył srebrny medal. Amerykanin pokonał po drodze m.in. Juana Carlosa Ferrero, tenisistę który był w przeszłości liderem rankingu singlowego, Michaiła Jużnego oraz Fernanda Gonzáleza. W meczu o złoto zmierzył się z Nicolásem Massú. Po blisko 2:40 godz. mecz zakończył się zwycięstwem Chilijczyka 6:3, 3:6, 2:6, 6:3, 6:4. Dwa tygodnie po igrzyskach odbył się wielkoszlemowy turniej US Open. W I rundzie Fish pokonał Davida Ferrera, jednak w następnej nie sprostał Michalowi Tabarze.

Rok 2004 ukończył na 37. pozycji w rankingu.

Sezony 2005–2006 – kontuzje i powrót do gry Sezon 2005 Amerykanin rozpoczął od turnieju w Sydney, gdzie odpadł w II rundzie. W Australian Open również osiągnął II fazę, eliminując wpierw w pięciu setach Juana Mónaco;