Jej matka prowadziła kawiarnię, a ojciec był urzędnikiem w rodzinnej firmie Continental Trust w Baltimore, ponadto cierpiał na gruźlicę i przez rozwój choroby poruszał się na wózku inwalidzkim.
lewo|mały|302x302px|Wallis w wieku 10 lat Po narodzinach zamieszkała z rodzicami w pensjonacie Brexton w centrum Baltimore, a po śmierci ojca (zmarł 15 listopada 1896) przez kolejne pierwsze cztery lata mieszkała w domu babki ze strony ojca przy East Preston Street 34 w Baltimore. Jej dzieciństwo w tymczasie finansował stryj Solomon Davies Warfield. Następnie wraz z matką wróciła do Brexton, poza tym mieszkały także u siostry matki. Jej matka kilka lat później wyszła za pilota Johna Freemana Rasina, który zmarł w 1913, a w 1925 poślubiła urzędnika Charlesa Gordona Allena, jednak już cztery lata później – 2 listopada 1929 – zmarła.
Uczęszczała do Miss O’Donnell’s School, następnie przeniosła się do Szkoły dla Dziewcząt Arundell, a w 1912 do elitarnej szkoły żeńskiej Oldfields, którą ukończyła w 1914. W okresie nauki w Oldfields trenowała koszykówkę i jazdę konno.