Pradziadkowie Gustafsson podjęli dwie nieudane próby wyjazdu do Stanów Zjednoczonych: w 1864 Karl Johan Nilsson i w 1882 jego syn Johan August.

Jej ojciec, Karl Alfred Gustafsson (1871–1920), urodzony jako Karl Alfrid Johansson, był drugim z siedmiorga dzieci (troje jego młodszych braci i siostra zmarli, nim ukończyli 5. rok życia) i najstarszym synem Johana Agathona Gustafssona (1846–1922) oraz Lovisy Andersdotter (1845–1881). Matka zmarła w wieku 35 lat w wyniku powikłań po trudnym porodzie. Pochodził z rolniczej miejscowości Frinnaryd i był niewykwalifikowanym robotnikiem. Wraz ze wzrostem populacji w Szwecji i upadkiem wielu gospodarstw rolnych, życie rodzin z klasy robotniczej stało się ciężkie. Trudna sytuacja rodzinna spowodowała, że był zmuszony porzucić szkołę i znaleźć zatrudnienie. Imał się dorywczych zajęć, pracował m.in. jako pomocnik w rzeźni. Z czasem przyjął nazwisko ojca i bardziej powszechną pisownię drugiego imienia. Powróciwszy w 1891 z Gotlandii – wyspy, na którą przeniósł się z ojcem i jego drugą żoną w 1887 i gdzie pracowali w lokalnym przemyśle – znalazł zatrudnienie w Sztokholmie.