13 czerwca 2004 został wybrany na posła do Parlamentu Europejskiego z listy Platformy Obywatelskiej w okręgu nr 6 obejmującym województwo łódzkie, otrzymując 66 589 głosów (16,92%, najlepszy wynik w okręgu). Od 20 lipca 2004 do 16 stycznia 2007 (przez połowę kadencji) pełnił funkcję wiceprzewodniczącego Parlamentu Europejskiego z ramienia EPL-ED. W 2006 został wybrany na wiceprzewodniczącego Europejskiej Partii Ludowej. W 2007 objął stanowisko przewodniczącego Komisji Spraw Zagranicznych Parlamentu Europejskiego. W VI kadencji był również członkiem-zastępcą w komisji budżetowej oraz członkiem delegacji PE na Federację Rosyjską i Afganistan. W wyborach w 2009 skutecznie ubiegał się o reelekcję.
W 2014 po raz trzeci został wybrany na posła do Parlamentu Europejskiego. 4 marca 2017 minister spraw zagranicznych w rządzie Beaty Szydło zgłosił jego kandydaturę na stanowisko przewodniczącego Rady Europejskiej (zajmowane przez Donalda Tuska, deklarującego zamiar ubiegania się o reelekcję), w związku z czym tego samego dnia został usunięty z Platformy Obywatelskiej. W konsekwencji utracił również stanowisko wiceprzewodniczącego Europejskiej Partii Ludowej. Przestał być także członkiem frakcji EPL w Europarlamencie.