Od 1975 pozostawał w służbie dyplomatycznej Stolicy Apostolskiej. W latach 1975–1983 pełnił funkcję sekretarza nuncjatur kolejno w Dominikanie i Libanie. W lipcu 1983 wszedł w skład Rady Spraw Publicznych Kościoła. Wielokrotnie uczestniczył w specjalnych misjach dyplomatycznych oraz reprezentował Watykan w spotkaniach roboczych organizacji międzynarodowych.
1 grudnia 1990 został mianowany przez Jana Pawła II arcybiskupem tytularnym Thelepte i jednocześnie sekretarzem ds. stosunków z państwami w watykańskim Sekretariacie Stanu. Sakry biskupiej udzielił mu w bazylice watykańskiej 6 stycznia 1991 sam papież. Funkcja ta oznaczała w praktyce wiceministra spraw zagranicznych Stolicy Apostolskiej.
21 października 2003 został wyniesiony do godności kardynalskiej, z tytułem diakona Sant Apollinare alle Terme Neroniane-Alessandrine. W listopadzie 2003 przeszedł na stanowisko archiwisty i bibliotekarza św. Kościoła Rzymskiego. Reprezentował papieża jako specjalny wysłannik m.in. na ceremonii otwarcia nowego Muzeum Historii Holocaustu w Jerozolimie 15 marca 2005.
Brał udział w konklawe 2005, które wybrało papieża Benedykta XVI.
25 czerwca 2007 został powołany na przewodniczącego Papieskiej Rady ds. Dialogu Międzyreligijnego przez papieża Benedykta XVI.