Jego potomkowie są cały czas zaangażowani w ruch skautowski.
Frederick Russel Burnham był bratem inżyniera wydobywczego i szpiega Mather Howard Burnhama oraz kuzynem porucznika Howarda Mathera Burnhama, który zginął w wojnie secesyjnej.
Wczesny okres życia Burnham urodził się w rodzinie misyjnej w indiańskim rezerwacie w Tivoli w stanie Minnesota. Będąc małym dzieckiem był świadkiem indiańskiego ataku na miejscowość New Ulm. Podczas powstania Dakotów w 1862, licząca wówczas około 900 mieszkańców osada została dwukrotnie zaatakowana przez mieszkających wcześniej w tej okolicy Dakotów Santee. Indiańscy wojownicy pod wodzą Taoyateduty (Małej Wrony) nie zdołali zdobyć osady. Dla ułatwienia obrony mieszkańcy spalili około 190 drewnianych budynków, a po odparciu drugiego ataku (przy wsparciu ze strony odsieczy pod wodzą płk. Charlesa E. Flandraua) czasowo ewakuowali się do pobliskiego Mankato. W obu starciach zginęło łącznie około 40 białych osadników. Podczas tego zdarzenia matka, Rebecca (Elizabeth) Russel Burnham, ukryła niespełna dwuletniego chłopca w koszu pełnym plew kukurydzianych, po czym ratowała się ucieczką. Po tym jak Dakotowie zostali odpędzeni, powróciła w opuszczone miejsce widząc spalony dom.