W 1938 zadebiutował na Broadwayu w spektaklu Abe Lincoln in Illinois. Podczas II wojny światowej służył w United States Army Air Forces i wziął udział w wielu filmach szkoleniowych, w tym relacjonujący Boeinga B-17. McCarthy był członkiem i założycielem The Actors Studio. Po raz pierwszy wystąpił na ekranie w melodramacie muzycznym George’a Cukora Winged Victory (1944) u boku Edmonda O’Briena. W 1954 zagrał Borisa Aleksiejewicza Trigorina w produkcji off-Broadwayowskiej Mewa Antona Czechowa.
Zmarł na zapalenie płuc w szpitalu w Hyannis, dożywszy 96 lat. Pomimo podeszłego wieku prawie do końca życia pozostawał aktywny zawodowo.
Filmografia Film Śmierć komiwojażera (1951) jako Biff Loman Inwazja porywaczy ciał (1956) jako dr Miles J. Bennell Skłóceni z życiem (1961) jako Raymond Taber Nagroda (1963) jako dr John Garett Ten najlepszy (1964) jako Dick Jensen Miraż (1965) jako Sylvester Josephson Hazardziści z Teksasu (1966) jako Otto Habershaw Hotel (1967) jako O’Keefe Buffalo Bill i Indianie jako mjr John Burke Inwazja łowców ciał (1978;