Okres II wojny światowej Wybuch II wojny światowej zatrzymał rozgrywki piłkarskie w całej Anglii, ale Jimmy jeszcze przed wyruszeniem na front wojenny doczekał się powiększenia rodziny – jego żona urodziła dwóch synów Johna oraz Philipa oraz oczekiwała narodzin kolejnego chłopca. Trzeci syn narodził się w lipcu 1942 roku, a Winnie obawiając się iż mąż może nie wrócić z wojny nazwała chłopca po ojcu – James Patrick.

Jimmy podczas wojny był członkiem 8. Armii, z którą walczył w Bitwie o Tobruk, a następnie brał udział w walkach na pustyniach północnej Afryki, następnie w 1943 roku w Tunezji oraz Susie, a w 1944 roku w Rzymie oraz Bari. Jego głównym zadaniem w wojsku było podtrzymywanie morale żołnierzy poprzez dbanie o ich kondycję fizyczną. Murphy organizował mecze piłki nożnej oraz krykieta. Podczas pobytu we Włoszech jednym z żołnierzy, których spotkał na froncie był Matt Busby. Raporty z tego okresu opisują Jimmy'ego jako świetnego Oficera Kontroli Ruchu, który był odpowiedzialny za sekcje sportowe, w których uczestniczyły tysiące mężczyzn.