W 1996 po raz pierwszy uzyskał mandat deputowanego do Izby Poselskiej, z powodzeniem ubiegał się o reelekcję w wyborach w 1998 i 2002. W rządzie Miloša Zemana zajmował stanowisko pierwszego wicepremiera oraz ministra pracy i spraw socjalnych (od lipca 1998 do lipca 2002). Od grudnia 1999 do lutego 2000 pełnił również obowiązki ministra zdrowia. 12 lipca 2002, po kolejnych wyborach parlamentarnych, został powołany na urząd premiera, a 15 lipca stanął na czele koalicyjnego gabinetu. Od sierpnia do września 2003 i od czerwca do sierpnia 2004 czasowo kierował w swoim rządzie resortem sprawiedliwości.
Rządem kierował do 4 sierpnia 2004. W listopadzie tego samego roku został komisarzem europejskim w pierwszej komisji, której przewodniczył José Manuel Barroso. Funkcję tę pełnił do lutego 2010. W 2009 został w międzyczasie wiceprzewodniczącym Partii Europejskich Socjalistów. Od 2010 prowadził własną działalność gospodarczą m.in. w branży doradczej. W 2011 powołano go na dyrektora Akademii Demokracji Masaryka, think tanku działającego przy partii socjaldemokratycznej.