Życiorys James Mann Wordie urodził się 26 kwietnia 1889 roku w Glasgow jako syn Jamesa Wordiego, prowadzącego firmę transportową oraz Jane Catherine Mann. Po ukończeniu Glasgow Academy, podjął studia geologiczne na University of Glasgow uzyskując stopień BSc w 1910 roku. Następnie studiował geologię w St John’s College w University of Cambridge, gdzie również zdobył BSc w 1914 roku. Jako nastolatek podczas wakacji rodzinnych w Szwajcarii odbył swoją pierwszą wspinaczkę, później wspinał się na wieżę St John’s College.
W 1913 roku po 12. Międzynarodowym Kongresie Geologicznym w Toronto uczestniczył w wyjeździe do Jukonu i do Yakutat Bay, po raz pierwszy udając się w region polarny. Po powrocie pracował nad pracą końcową w Sedgwick Museum of Earth Sciences przy University of Cambridge, gdzie członkowie ekspedycji Roberta F. Scotta (1868–1912) opracowywali swoje materiały. Wówczas poznał polarników Charles’a Wrighta (1887–1975), Franka Debenhama (1883–1965) i Raymonda Priestley’a (1886–1974), a Debenham i Priestley przyczynili się do jego zainteresowania obszarami polarnymi.