Od 2001 do 2005 rezydował w Belgradzie jako ambasador w Federalnej Republice Jugosławii (przekształconej w międzyczasie w Serbię i Czarnogórę), Albanii i Macedonii.
W lipcu 2007 objął stanowisko wysokiego przedstawiciela dla Bośni i Hercegowiny, zastępując Christiana Schwarz-Schillinga, które zajmował do lutego 2009.
Z urzędu tego zrezygnował 26 stycznia 2009, aby objąć urząd ministra spraw zagranicznych Słowacji w rządzie Roberta Ficy, kiedy to z funkcji tej odszedł Ján Kubiš, powołany na sekretarza wykonawczego Komisji Gospodarczej ONZ ds. Europy (UNECE). Zakończył urzędowanie wraz z całym gabinetem 8 lipca 2010.
Od grudnia tego samego roku do kwietnia 2012 pracował w Europejskiej Służbie Działań Zewnętrznych, m.in. kierując negocjacjami nad umowami stowarzyszeniowymi między UE a Ukrainą i Mołdawią. 4 kwietnia 2012 w nowym rządzie Roberta Ficy objął powtórnie stanowisko ministra spraw zagranicznych Słowacji, został tym razem także wicepremierem.
W wyborach w 2016 z listy partii SMER (pozostając osobą bezpartyjną) uzyskał mandat posła do Rady Narodowej. 23 marca 2016 po raz trzeci został ministrem spraw zagranicznych w kolejnym rządzie dotychczasowego premiera (zakończył pełnienie funkcji wicepremiera).