Pochodzenie Rodzice Agnes poznali się w czasie, gdy jej ojciec (Niemiec z pochodzenia) nauczał języków obcych w Berlitz School w Waszyngtonie. Pomimo iż w dzieciństwie rodzina wielokrotnie zmieniała miejsce zamieszkania, Agnes uważała Waszyngton za swoje rodzinne miasto. Uczęszczała do Fairmont Seminary oraz na program szkoleniowy bibliotek publicznych w Waszyngtonie. Pierwszą pracę otrzymała w 1910 jako katalogistka w miejscowej bibliotece. W 1914 postanowiła porzucić bibliotekarstwo, by rozpocząć naukę w szkole pielęgniarskiej. Według jej słów „[Biblioteka] była zbyt powolna i spokojna. Mój duch szukał czegoś bardziej ekscytującego”,
Agnes uczęszczała na Bellevue Nurses Training Program w Nowym Jorku, który ukończyła w 1917. Starała się o służbę w amerykańskim Czerwonym Krzyżu, a 15 czerwca 1918 popłynęła do Europy. Pierwszym przydziałem był szpital wojskowy Treviso w Mediolanie, w którym to właśnie spotkała Hemingwaya. W 1919 listownie zerwała z nim związek, podczas jego pobytu w Stanach Zjednoczonych.
Jednym z jej wujów był znany chicagowski architekt William Holabird, zaś dziadkiem ze strony matki gen.