Celtic FC Pomimo zainteresowania innych klubów ostatecznie to Celtic FC podpisał z nim profesjonalny kontrakt. Debiut w nowym klubie zanotował 20 stycznia 1923 w przegranym 1:0 meczu z Third Lanark. Swoją pierwszą bramkę strzelił 3 lutego w meczu przeciwko Kilmarnock (3:4). W pierwszym sezonie łącznie rozegrał cztery spotkania, w których strzelił jedną bramkę. W sezonie 1923/1924 przebywał na wypożyczeniu do Clydebank, w którym strzelił 16 goli w 33 meczach.
Sezon 1924/1925 Pierwszą bramkę w sezonie 1924/1925 strzelił w starciu przeciwko Falkirk (2:1). 20 września w meczu Pucharu Glasgow z Third Lanark (4:2) strzelił swojego pierwszego hat-tricka dla Celticu. Tydzień później zanotował kolejnego hat-tricka–tym razem przeciwko drużynie Motherwell w ramach ligi szkockiej. W meczu Pucharu Szkocji przeciwko Third Lanark (5:1), który został rozegrany 24 stycznia 1925, McGrory popisał się strzeleniem czterech bramek. 24 lutego 1925 ponownie zdobył 3 trafienia, a ligowy mecz przeciwko Hamilton Academical zakończył się zwycięstwem 4:0. 1 kwietnia zdobył cztery gole przeciwko Falkirk. 11 kwietnia 1925 w meczu finałowym Pucharu Szkocji z Rangers strzelił zwycięskiego gola (na 2:1), tym samym zdobywając swoje pierwsze trofeum w seniorskiej karierze.