Później wziął on udział w wojnie z Francuzami i Indianami. Zmarł on w wieku 65 lat po tym, jak został uderzony przez spadający konar. Po tym wypadku, syn Johna, Robert, odziedziczył plantację Timber Ridge. Robert wysłał syna, Samuela (ojca Sama), do walki w Armii Kontynentalnej. Później wziął on ślub z Elizabeth Paxton, córką Johna Paxtona, jednego z najbogatszych ludzi w okolicy. Młody Sam był uciążliwym dzieckiem dla matki. Nie lubił on szkoły, opuszczał lekcje i stale kłócił się ze starszymi braćmi. Jednak próbował się on podporządkować, by w ten sposób zadowolić ukochaną i oddaną matkę, która rozumiała Sama jak nikt inny. Mimo że nie lubił on szkoły, to chętnie czytał należące do ojca książki geograficzno-historyczne.
Po śmierci ojca w 1807 roku, Sam przeniósł się z matką i rodzeństwem do hrabstwa Blount (Tennessee), które było wówczas częścią Karoliny Północnej. Rodzina nabyła tam działkę nieopodal miasta Maryville. Po przeniesieniu się do Maryville i po otrzymaniu jedynie podstawowej edukacji na pograniczu Wirginii, Sam był w wieku 14 lat.