W 1991 został prezesem Banku Estonii, którym zarządzał do 1995. W 1994 stanął na czele wolnorynkowej i liberalnej Estońskiej Partii Reform. Po dziesięciu latach kierowania partią zrezygnował ze stanowiska, zostając jej honorowym przewodniczącym. W latach 1995–1999 oraz 2003–2004 był deputowanym do Riigikogu. W 1995 otrzymał nominację na stanowisko ministra spraw zagranicznych. Z funkcji tej odszedł w 1996. Od 1999 do 2002 pełnił funkcję ministra finansów. 28 stycznia 2002 objął urząd premiera. Na czele estońskiego rządu stał do 10 kwietnia 2003. 1 maja 2004 wszedł w skład Komisji Europejskiej jako komisarz ds. ekonomicznych i walutowych (wspólnie z Joaquínem Almunią), a w listopadzie 2004 objął stanowiska wiceprzewodniczącego Komisji Europejskiej oraz komisarza ds. administracji, audytu i zwalczania nadużyć finansowych. W listopadzie 2009 ogłoszono, że w nowej KE José Manuela Barroso obejmie stanowiska wiceprzewodniczącego oraz komisarza ds. transportu. Objął je po zatwierdzeniu przez Parlament Europejski w lutym 2010 i pełnił do końca kadencji KE w 2014.