W tej sytuacji podczas „Wielkiej Pętli” miał raczej status wolnego strzelca i jako taki stawiał sobie realistyczne cele tj. kolejne zwycięstwa w klasyfikacji górskiej i na górskich odcinkach. Z trzech ostatnich występów w Tour de France (choć zajmował w „generalce” miejsca dość odległe tzn. szesnaste, szesnaste i piętnaste) wyniósł w sumie: dwie dalsze koszulki najlepszego górala (2003-04) oraz trzy sukcesy etapowe (w 2002 roku triumfował na prowansalskim szczycie, „świętej górze Touru” – Mont Ventoux, w 2003 raz jeszcze w Morzine i „na pożegnanie” w tym roku po rajdzie przez Masyw Centralny do Saint-Flour). Co więcej w jubileuszowym Tourze 2003 po wspomnianym triumfie w Morzine, do którego dojechał z przewagą ponad czterech minut nad grupą faworytów raz jeszcze, choć znów tylko na dobę, założył żółtą koszulkę lidera.
W roku 2003 po raz szósty utrzymał koszulkę w czerwone grochy i wyrównał tym samym rekord ustanowiony przez Federico Bahamontesa i Luciena van Impe. Na Tour de France 2004 Virenque wygrał 10. etap z Limoges do Saint-Flour w dniu narodowego święta Francji i tym samym odniósł siódme etapowe zwycięstwo w Torze w swojej karierze. W tym czasie jeździł w barwach belgijskiej drużyny Quick Step-Davitamon, która później przekształciła się w Quick Step.