20 listopada 2013 premier Donald Tusk zapowiedział jego nominację na stanowisko ministra administracji i cyfryzacji. Został powołany na ten urząd przez prezydenta Bronisława Komorowskiego 27 listopada 2013 (z mocą od 3 grudnia 2013)Postanowienie Prezydenta Rzeczypospolitej Polskiej z dnia 27 listopada 2013 r. nr 1131-25-2013 o zmianie w składzie Rady Ministrów ().. Złożył w związku z tym mandat eurodeputowanego.
Zakończył urzędowanie w dniu zaprzysiężenia rządu Ewy Kopacz 22 września 2014. W nowym gabinecie w tym samym miesiącu został powołany na stanowisko sekretarza stanu w Ministerstwie Spraw Zagranicznych odpowiedzialnego za sprawy europejskie. Pełnił również funkcję pełnomocnika premiera do spraw Rady Europejskiej.
W 2015 wystartował w wyborach parlamentarnych jako lider listy wyborczej PO w okręgu krakowskim. Otrzymał 47 080 głosów, uzyskując mandat posła na Sejm VIII kadencji. W niższej izbie parlamentu został wiceprzewodniczącym Komisji do Spraw Unii Europejskiej. W 2016 został członkiem zarządu krajowego PO. W listopadzie tego samego roku został powołany na funkcję ministra spraw zagranicznych w gabinecie cieni utworzonym przez Platformę Obywatelską.