24 kwietnia 1979 papież Jan Paweł II mianował go biskupem pomocniczym ordynariatu polowego Stanów Zjednoczonych, ze stolicą tytularną Cursola. Sakry biskupiej udzielił mu 27 maja 1979 w bazylice św. Piotra na Watykanie osobiście papież. 6 maja 1983 został przeniesiony na urząd biskupa diecezji Scranton, a ingres do katedry św. Piotra odbył 29 czerwca 1983. 26 stycznia 1984 został mianowany arcybiskupem metropolitą Nowego Jorku i administratorem apostolskim ordynariatu polowego. Ingres do katedry św. Patryka odbył 19 marca 1984. Funkcję administratora apostolskiego ordynariatu polowego pełnił do 16 marca 1985, gdy administrację przejął arcybiskup koadiutor i wikariusz polowy, John Joseph Thomas Ryan.
Na konsystorzu 25 maja 1985 został wyniesiony do godności kardynalskiej, otrzymując tytuł świętych Jana i Pawła na Celiusie. W 1995 ze względu na osiągnięcie wieku emerytalnego złożył rezygnację z urzędu, której Jan Paweł II nie przyjął, nakazując mu dalsze pełnienie funkcji.
3 Marca 2000 roku odznaczony Złotym Medalem Kongresu.
Zmarł 3 maja 2000 roku w swojej rezydencji w Nowym Jorku w wyniku zatrzymania akcji serca, będącą komplikacją nowotworu mózgu.