Otrzymał również Legię Honorową.

2 lutego 1979 Jan Paweł II mianował go biskupem pomocniczym Paryża, ze stolicą tytularną Usula; sakry biskupiej ks. Poupardowi udzielił metropolita paryski kardynał François Marty 6 kwietnia 1979. W czerwcu 1980 Poupard został promowany do rangi arcybiskupa i przeszedł do pracy w Kurii Rzymskiej, pełniąc obowiązki przewodniczącego Sekretariatu ds. Niewierzących. Brał udział w kolejnych sesjach Światowego Synodu Biskupów w Watykanie, a w II sesji specjalnej dla Kościoła europejskiego (październik 1999) był jednym z delegatów przewodniczących.

25 maja 1985 został wyniesiony do godności kardynalskiej, z diakonią Sant'Eugenio. Wraz z nominacją kardynalską został pełnoprawnym przewodniczącym Sekretariatu ds. Niewierzących, a w kwietniu 1988 dodatkowo przewodniczącym Papieskiej Rady ds. Kultury; zachował stanowisko przewodniczącego Rady po włączeniu do niej Sekretariatu ds. Niewierzących w marcu 1993, dopiero śmierć Jana Pawła II w kwietniu 2005 zawiesiła dalsze pełnienie przez kardynała Pouparda tej funkcji;