Był również w 1/8 finału Rolanda Garrosa oraz finale deblowego turnieju w Bangkoku, grając w parze z Andrew Kratzmannem.
W 2004 roku stracił 3 miesiące startów z powodu kontuzji, ale utrzymał się w czołowej setce rankingu. Zagrał natomiast na igrzyskach olimpijskich w Atenach dochodząc do 2 rundy zawodów singlowych.
W 2005 roku jako pierwszy Fin w historii doszedł do ćwierćfinału wielkoszlemowego, na US Open, ponosząc porażkę w pojedynku o awans do dalszej rundy z Lleytonem Hewittem.
W styczniu 2006 roku odniósł pierwsze zwycięstwo turniejowe, pokonując w finale w Auckland Chorwata Mario Ančicia 6:2, 6:2. Do końca sezonu osiągnął również finał w Sztokholmie, gdzie ostatecznie przegrał z Jamesem Blake.
We wrześniu 2007 roku Nieminen wygrał swój pierwszy turniej ATP World Tour w grze podwójnej na kortach twardych w Mumbaju. W parze z Robertem Lindstedtem pokonali w finale debel Rohan Bopanna–Aisam-ul-Haq Qureshi. Podczas turnieju w Bazylei, w październiku 2007 roku, pokonując m.in. Cypryjczyka Markosa Pagdatisa doszedł do finału singla, gdzie przegrał z broniącym tytułu, liderem światowego rankingu, Rogerem Federerem.