W 2002 przystąpił do Unii na rzecz Ruchu Ludowego. W tym samym roku powrócił na stanowisko rządowe, kiedy to w maju objął funkcję ministra spraw społecznych, pracy i solidarności w gabinecie premiera Jeana-Pierre’a Raffarina. Jako minister próbował zmienić przeforsowane przez socjalistów prawo o 35-godzinnym tygodniu pracy i przeprowadzić reformę systemu emerytalnego (Loi Fillon).
W marcu 2004 został ministrem edukacji, szkolnictwa wyższego i badań. We wrześniu tego samego roku wybrano go po raz pierwszy do Senatu, jednak mandat złożył w związku z zakazem łączenia stanowisk w rządzie i parlamencie. W kwietniu 2005 François Fillon przeprowadził reformę systemu edukacyjnego, wprowadzając m.in. tzw. minima programowe dla wielu przedmiotów szkolnych i akademickich oraz zasady wynagradzania nauczycieli. Ze stanowiska ustąpił w czerwcu 2005, kiedy to urząd premiera objął Dominique de Villepin. We wrześniu tego samego roku ponownie został senatorem z okręgu Sarthe.