W barwach nowego zespołu zadebiutował w pierwszym tygodniu rozgrywek sezonu 1916 w meczu przeciwko Detroit Tigers, w którym występował wówczas jego brat Harry. Rok później zaliczył najwięcej shutoutów w lidze (9). 24 maja 1918 w meczu z New York Yankees wygranym przez Indians 3–2 po 19 zmianach, zanotował complete game, a w 1920 w World Series przeciwko Brooklyn Robins rozegrał trzy pełne mecze, uzyskując wskaźnik ERA 0,67, oddając w całej serii dwa runy. 12 października 1920, w decydującym o pierwszym w historii klubu mistrzostwie meczu numer 7, rozegrał dziewięć zmian i oddał pięć odbić.
Po zakończeniu sezonu 1924 w ramach wymiany przeszedł do Washington Senators. W 1925 zanotował bilans W-L 20–5 przy najlepszym w American League wskaźniku ERA 2,84. W tym samym roku w World Series, zaliczył dwie porażki w dwóch startach, a Senators przegrali w serii z Pittsburgh Pirates. W sezonie 1928 grał w New York Yankees, w którym zakończył karierę zawodniczą.
Uhonorowanie W 1969 został uhonorowany członkostwem w Baseball Hall of Fame, zaś w 1976 w National Polish-American Sports Hall of Fame.