Takie działania doprowadziły do wyśmiewania go przez alumnów, a nawet próby złożenia ze stanowiska w 1856Virginia Military Institute Archives: Stonewall Jackson FAQ.
Wielu białych mieszkających w mieście nie zdawało sobie sprawy, iż Jackson był bardzo ceniony przez populację niewolników i wolnych murzynów. Przyczynił się do zorganizowania niedzielnej szkółki dla murzynów w kościele prezbiteriańskim. Jego druga żona, Mary Anna uczyła razem z nim, gdyż Thomas „wolał, iżby praca moja była dla pożytku kolorowych dzieci, wierząc, że ważnym i użytecznym jest podporządkowanie ignoranckiej rasy afrykańskiej silnej dłoni Ewangelii”Mary Anna Jackson, Memoirs of Stonewall Jackson, by His Widow, s. 78.. Pastor kościoła dr William Spottswood White opisał stosunki między Jacksonem a jego uczniami: „Jako ich mentor religijny odniósł sukces. Jego dyscyplina była systematyczna i mocna, ale bardzo delikatna [...] jego służący darzyli go rewerencją i miłością, jaką darzy się brata lub ojca. [...] Był przyjacielem czarnego człowieka”. Do podopiecznych zwracał się po imieniu, a oni zwali go „Marse Major”Robertson, Stonewall Jackson: The Man, The Soldier, The Legend, s. 169..