John ukończył służbę w stopniu kapitana, po czym służył jako porucznik w milicji stanu Wirginia. Kiedy mężczyźni byli w armii, Elizabeth zamieniła ich dom w bezpieczną przystań „Fort Jacksona”, mający chronić przed atakami IndianRobertson, s. 2-3..
John i Elizabeth mieli ośmioro dzieci. Ich drugi syn, Edward (1759–1828) miał trzech synów, z których najmłodszy, Jonathan był ojcem ThomasaVMI Jackson genealogy site; Robertson, Stonewall Jackson: The Man, The Soldier, The Legend, s. 4..
Dzieciństwo Thomas, który otrzymał imię po dziadku, urodził się jako trzecie dziecko prawnika Jonathana Jacksona (1790–1826) oraz Julii Beckwith Jackson (z domu Neale) (1798–1831). Oboje pochodzili z Wirginii i mieszkali w Clarksburgu.
Starsza siostra Thomasa, Elizabeth, umarła na dur brzuszny 6 marca 1826 r. – dwuletni wówczas chłopiec aż do końca pozostał przy jej łóżku. Ojciec rodziny zmarł na tę samą chorobę niecałe trzy tygodnie później, 26 marca, nie doczekawszy się narodzin najmłodszej córki, Laury Ann, która przyszła na świat następnego dniaRobertson, Stonewall Jackson: The Man, The Soldier, The Legend, s. 7.. Julia Jackson została wdową w wieku 28 lat, z trójką dzieci oraz długami – aby spłacić należności, musiała sprzedać wiele z rzeczy należących do rodziny, ale mimo biedy odmawiała jałmużny.