Jako obrońcy tytułu mistrzowskiego Fenson wystąpił na Mistrzostwach USA 2004, dotarł tam do finałów jednak nie sprostał drużynie Jasona Larwaya. Odzyskał tytuł mistrzowski rok później. W Mistrzostwach Świata 2005 jego drużyna spisywała się dobrze i jak 6 innych zakończyła fazę grupową bilansem 8-3, kolejnie Fenson zmierzył się w przegranym 6:10 tie-breakerze z Norwegami. Stany Zjednoczone zdobyły 6. pozycję. W tym samym roku wygrał kwalifikacje do Zimowych Igrzysk Olimpijskich 2006.
W styczniu 2006 drużyna Fensona obroniła tytuł mistrzowski w rozgrywkach krajowych. W następnym miesiącu rozgrywała turniej olimpijski we włoskim Pinerolo. Reprezentacja USA z bilansem 6-3 zajęła 3. miejsce po Round Robin, w półfinale przegrała z późniejszymi mistrzami Kanadyjczykami 5:11. W meczu o brązowy medal zespół pokonał 8:6 Szkotów. Po sukcesie na igrzyskach przyszedł występ na Mistrzostwach Świata 2006, Amerykanie zakończyli fazę grupową bilansem 7-4 i wystąpili w dolnym meczu play-off. Przegrali tam z Norwegami 5:8 i zajęli 4. miejsce. Amerykański Komitet Olimpijski ogłosił drużynę Pete Fensona drużyną roku 2006.