19 stycznia 1976 został mianowany biskupem pomocniczym Baltimore; otrzymał biskupią stolicę tytularną Respecta, a sakry udzielił mu 29 lutego 1976 zwierzchnik archidiecezji William Borders. W latach 1976–1982 Stafford był wikariuszem generalnym Baltimore, a w listopadzie 1982 przeszedł na samodzielną stolicę biskupią Memphis. W maju 1986 został arcybiskupem Denver; zrezygnował z rządów archidiecezją w sierpniu 1996 i przeszedł do pracy w Kurii Rzymskiej. Pełnił funkcję przewodniczącego Papieskiej Rady ds. Świeckich, w październiku 2003 został Penitencjariuszem Większym w Trybunale Penitencjarii Apostolskiej w Watykanie. Sprawował ten urząd do 2 czerwca 2009, gdy odszedł na emeryturę.
Od lutego 1998 jest kardynałem, mianowanym przez Jana Pawła II; nosi tytuł diakona Gesu Buon Pastore alla Montagnola. Brał udział w wielu sesjach Światowego Synodu Biskupów w Watykanie, m.in. w sesji specjalnej poświęconej Kościołowi w Ameryce (listopad-grudzień 1997); reprezentował papieża na uroczystościach poświęcenia nowej katedry w Los Angeles w charakterze specjalnego wysłannika (2 września 2002).