Młodość Mosby urodził się w Powhatan County w Wirginii. Był synem Virginny McLaurine i Alfreda Daniela Mosby’ego, absolwenta Hampden-Sydney College i potomka starego angielskiego rodu (jego przodek Richard Mosby urodził się w Anglii w 1600 roku przybył do Charles City, w stanie Wirginia w początkach XVII stulecia). J.S. Mosby został nazwany na cześć dziadka, Johna Singletona.
Mosby rozpoczął naukę w szkole o nazwie Murrell Shop. Kiedy jego rodzina przeniosła się do Albemarle County w Wirginii (w pobliżu Charlottesville) około 1840 roku, John zaczął uczęszczać do szkoły w Woods Fry, po czym, w wieku dziewięciu lat przeniósł się do szkoły w Charlottesville. Z powodu swojego niskiego wzrostu i słabego zdrowia w szkole był często ofiarą zbirów. Nie wycofał się i nie utracił pewności siebie, ale próbował przeciwstawić się swoim prześladowcom, chociaż – jak napisał w swoim pamiętniku – nigdy nie udało mu się wygrać walki ze wszystkimi.
W 1849 Mosby rozpoczął naukę na University of Virginia, wybierając studia klasyczne i dołączając do Waszyngtońskiego Towarzystwa Literackiego i Debaty o Unii. Uzyskiwał bardzo dobre oceny z łaciny, greki i literatury, ale nauka matematyki sprawiała mu problem.