W 1986, 1988 i 1993 uzyskiwał mandat deputowanego do Zgromadzenia Narodowego w jednym z okręgów departamentu Pireneje Atlantyckie. Zrezygnował z zasiadania w niższej izbie parlamentu wkrótce po ostatnich z tych wyborów, obejmując stanowisko ministra edukacji narodowej w rządzie Édouarda Balladura. Urząd ten sprawował także w obu gabinetach premiera Alaina Juppé (1995–1997). W przegranych przez centroprawicową koalicję wyborach z 1997 ponownie został posłem. Rok później wybrano go przewodniczącym Unii na rzecz Demokracji Francuskiej (stał na czele tej partii do czasu jej rozwiązania w 2007).
W 1999 opuścił Zgromadzenie Narodowe w związku z wyborem do Parlamentu Europejskiego. W PE zasiadał w Grupie Europejskiej Partii Ludowej (Chrześcijańscy Demokraci) i Europejskich Demokratów i Komisji ds. Konstytucyjnych.
W 2002 zadeklarował swój start w wyborach prezydenckich. Jeszcze przed pierwszą turą znaczna część partyjnych działaczy opowiedziała się jednak za kandydaturą ubiegającego się o reelekcję Jacques’a Chiraca. François Bayrou otrzymał wówczas 6,84% głosów. Opowiedział się przeciw akcesowi UDF do nowo powołanej centroprawicowej Unii na rzecz Większości Prezydenckiej.