Wszyscy bracia Jimmy'ego w przyszłości zostali górnikami, tak jak ich ojciec William. Jednak jego matka Florence chciała żeby najmłodsze dziecko spotkał lepszy los – dbała o jego edukację, licząc iż w przyszłości zostanie nauczycielem. W szkole uważany był za dobrego ucznia, podczas egzaminów w 1923 roku zdobył 134 na 170 możliwych punktów. Oprócz nauki w szkole Jimmy pobierał nauki z gry na pianinie i organach, a nawet grał na drugim z instrumentów w miejscowym kościele. Zawsze podkreślał swoją miłość do muzyki, ale jako młody chłopak odkrył również pasję do piłki nożnej.
Jimmy zaczął grę w piłkę nożną z dużo starszymi mężczyznami, którzy po pracy w kopalni spotykali się, żeby zagrać kilka meczów – to właśnie tam poznał pierwsze tajniki ulicznej, często brutalnej gry. Następnie grał dla lokalnych drużyn – Pentre Linnets, Pentre Boys, a następnie Treorchy Juniors oraz Glamorgan Boys. Początkowo nie wiązał przyszłości z piłką nożną, ale w wieku 13 lat został powołany do reprezentacji Walii w piłce nożnej mężczyzn do lat 16 na międzynarodowe spotkanie z Anglią na Cardiff Arms Park.