Wstąpił do prawicowego Fideszu, obejmując w 2003 funkcję wiceprzewodniczącego partii. W 2004 i 2009 z listy tego ugrupowania był wybierany do Parlamentu Europejskiego. Mandat objął 20 lipca 2004. Był członkiem biura Europejskiej Partii Ludowej. Od lipca 2004 do lipca 2009 zajmował stanowisko wiceprzewodniczącego Komisji Kultury i Edukacji w PE. Od września 2004 do lipca 2009 stał na czele Delegacji do Wspólnego Komitetu Parlamentarnego UE-Chorwacja. 14 lipca 2009 wybrano go na wiceprzewodniczącego PE. 13 maja 2010 odszedł z PE w związku z uzyskaniem w wyborach krajowych mandatu posła do Zgromadzenia Narodowego. 14 maja 2010 został wybrany na przewodniczącego krajowego parlamentu.

23 czerwca 2010 premier Viktor Orbán ogłosił Pála Schmitta kandydatem Fideszu na urząd prezydenta Węgier w pośrednich wyborach prezydenckich. Poparła go także sojusznicza Chrześcijańsko-Demokratyczna Partia Ludowa. 29 czerwca 2010 Zgromadzenie Narodowe wybrało go na to stanowisko, które objął po zakończeniu kadencji László Sólyoma upływającej 5 sierpnia 2010. W głosowaniu uzyskał 263 głosy, jego konkurent András Balogh – 59.