Spędzili ponad cztery lata we młynie, zanim zostali rozdzieleni – dziewczynka wyjechała, by zamieszkać z rodziną matki, Thomas zaś przeniósł się na farmę ciotki Polly (siostry ojca) oraz jej męża Isaaca Brake’a 4 mile od Clarksburga. Wuj traktował młodzika jak obcego, przez co po roku złego traktowania Thomas uciekł. Mimo próśb kuzynki w Clarksburgu, aby wrócił na farmę, Thomas odmówił, stwierdzając „Może powinienem, proszę pani, ale nie zamierzam”. Przeszedł 18 mil przez górskie odludzie, by dotrzeć do młyna Jacksona, gdzie został przywitany przez stryja i pozostał przez następne 7 latRobertson, Stonewall Jackson: The Man, The Soldier, The Legend, s. 9-16..
Cummins był stanowczy wobec Thomasa, który postrzegał go jako mentora. Pracował na farmie, wypasając owce w towarzystwie psa pasterskiego, przeganiał woły, pomagał siać i zbierać kukurydzę i pszenicę. Kształcenie było sprawą trudną, jednakże Thomas starał się uczęszczać do szkoły gdziekolwiek i kiedykolwiek mógł. Wielu najważniejszych rzeczy nauczył się sam. Zawarł kiedyś układ z jednym z niewolników stryja, którego uczył czytać i pisać w zamian za dostarczanie sosnowego opału. Thomas do późna czytywał książki przy świetle płonących szczapek sosny.