W latach 1993–1995 sprawował urząd ministra środowiska w rządzie Édouarda Balladura, a od 1995 do 1997 ministra delegowanego ds. europejskich u Alaina Juppé. W 1999 został przedstawicielem Francji w Komisji Europejskiej kierowanej przez Romana Prodiego jako komisarz ds. polityki regionalnej. W marcu 2004 mianowano go ministrem spraw zagranicznych w gabinecie Jeana-Pierre’a Raffarina. Pełnił tę funkcję do czerwca 2005. W czerwcu 2007 powrócił w skład rady ministrów, kiedy to został powołany na urząd ministra rolnictwa w drugim rządzie François Fillona. W 2009 został wybrany na posła do Parlamentu Europejskiego, w związku z czym w czerwcu tego samego roku odszedł z rządu.
W drugiej Komisji Europejskiej z José Manuelem Barroso na czele pełnił funkcję komisarza ds. rynku wewnętrznego i usług. Urzędowanie rozpoczął w lutym 2010, rezygnując z mandatu w PE. Funkcję tę sprawował do końca kadencji KE w 2014. W 2016 z ramienia Komisji Europejskiej został głównym negocjatorem do spraw związanych z opuszczeniem UE przez Wielką Brytanię. W grudniu 2021 bez powodzenia ubiegał się o nominację prezydencką w zorganizowanych przez Republikanów prawyborach, przegrywając w pierwszej turze, po której wsparł kandydaturę Valérie Pécresse.