Rodzina Jacksonów posiadała 6 niewolników. Trójka z nich (Hetty, Cyrus oraz George, matka i dwóch nastoletnich synów) była prezentem ślubnym. Albert poprosił Jacksona, by kupił go i pozwolił mu zapracować na wyzwolenie – pracował jako kelner w lexingtońskim lokalu i był wypożyczany dla VMI. To samo tyczyło się Amy, zakupionej na aukcji publicznej, która pracowała jako kucharka i gosposia. Ostatnia niewolna, Emma, była czteroletnią sierotą z problemami w uczeniu się, przekazana Jacksonowi przez podstarzałą wdowę jako prezent dla Mary AnnyRobertson, Stonewall Jackson: The Man, The Soldier, The Legend, s. 191-192.. Po wybuchu wojny Thomas sprzedał lub oddał swoich niewolników. Mary Anna napisała w 1895 r. w swoich pamiętnikach „dla naszych służących [...] bez przywództwa i powściągliwości ich pana, gorączka czasów okazała się tak demoralizująca, że [Thomas] zdecydował, iż powinnam oddać ich do dobrych domów stałych mieszkańców [Lexington]”Mary Anna Jackson, Memoirs of Stonewall Jackson, by His Widow, s. 152.. James Robertson tak opisał stosunek Jacksona do niewolnictwa:Robertson, Stonewall Jackson: The Man, The Soldier, The Legend, s. 191.