ich przodek Richard Woolley przybył do Massachusetts w połowie XVII wieku. Z kolei rodzina matki wywodziła się od szkocko-irlandzkich emigrantów z hrabstwa Down w Ulsterze. Rodzice wiązali z synami nadzieje na przejęcie rodzinnego gospodarstwa. Chłopcy od najmłodszych lat pomagali w pracach rolnych, takich jak dojenie krów czy zbiór ziemniaków, co było niezbędne do spłaty długu ciążącego na hipotece.
Edukację zdobywał w szkołach publicznych, a w 1872 roku ukończył szkołę handlową w Watertown. Nauczyciele postrzegali go jako ucznia bystrego i sumiennego, choć przejawiającego skłonności do marzycielstwa. Praca na roli była dla niego uciążliwa ze względu na wątłą budowę ciała, dlatego – przy wsparciu matki, która opłaciła jego czesne z oszczędności – podjął naukę księgowości w trybie wieczorowym.
Kluczowym doświadczeniem dla młodego Woolwortha była wizyta w domu towarowym w Watertown, gdzie wraz z bratem chciał kupić prezent dla matki. Kiedy próbowali zapłacić uzbieranymi drobnymi monetami, obsługa sklepu potraktowała ich lekceważąco. To doświadczenie stało się dla Franka impulsem do późniejszych działań.