od 1972 pozostawał w służbie dyplomatycznej Stolicy Apostolskiej, był sekretarzem nuncjatury w Brazylii. Od 1975 pracował w centrali Sekretariatu Stanu, początkowo w sekcji organizacji międzynarodowych, potem w biurze informacji i dokumentacji. W latach 1987–1992 pełnił funkcję asesora ds. ogólnych w Sekretariacie Stanu. W październiku 1987 otrzymał tytuł papieskiego prałata honorowego.
2 kwietnia 1992 został powołany na stanowisko sekretarza Kongregacji ds. Duchowieństwa i mianowany arcybiskupem tytularnym Gradum; odebrał sakrę biskupią 26 kwietnia 1992 z rąk Jana Pawła II (któremu asystowali kardynałowie Angelo Sodano i Franciszek Macharski). Od listopada 1997 pełnił funkcję sekretarza generalnego Komitetu Centralnego Obchodów Wielkiego Jubileuszu Roku 2000 oraz prezydenta instytucji Peregrinatio ad Petri Sedem.
21 lutego 2001 Jan Paweł II mianował go kardynałem, nadając diakonię Dio Padre misericordioso. W kwietniu 2001 kardynał Sepe został mianowany prefektem Kongregacji Ewangelizacji Narodów; z funkcji szefa Peregrinatio ad Petri Sedem został odwołany w lipcu 2001.