13 czerwca 2004 został wybrany na posła do Parlamentu Europejskiego z listy Platformy Obywatelskiej. Uzyskał w wyborach 173 389 głosów (to jest 22,14% wszystkich głosów oddanych w okręgu katowickim i najlepszy wynik w całym kraju). W Parlamencie Europejskim przystąpił do największej frakcji politycznej, Europejskiej Partii Ludowej – Europejskich Demokratów (EPP-ED). W VI kadencji został członkiem Komisji Przemysłu, Badań Naukowych i Energii oraz Ochrony Środowiska, Zdrowia Publicznego i Bezpieczeństwa Żywności. Pracował w Stałej Delegacji Parlamentu Europejskiego UE-Ukraina oraz w Delegacji do spraw stosunków z państwami Azji Południowo-Wschodniej i Stowarzyszeniem Państw Azji Południowo-Wschodniej (ASEAN).
W 2009 z ramienia Platformy Obywatelskiej po raz drugi został eurodeputowanym z okręgu katowickiego, uzyskując najwyższe poparcie w skali kraju. Głosowało na niego 393 117 osób. (ponad 42% wszystkich głosów oddanych w tym okręgu). Wkrótce po wyborach został członkiem PO. 14 lipca 2009 został wybrany na przewodniczącego Parlamentu Europejskiego. Za jego kandydaturą głosowało 555 z 713 biorących udział w wyborze eurodeputowanych. Funkcję tę pełnił do 17 stycznia 2012.