Wczesne lata Rodzice Ernesta Aldricha Simpsona przypominali mu o jego amerykańsko-brytyjskich korzeniach, z których byli bardzo dumni. W wieku dwudziestu jeden lat Ernest postanowił przerwać naukę na Harvardzie i zamieszkać w Wielkiej Brytanii. W 1917 roku wstąpił w szeregi Coldstream Guards w randze podporucznika, lecz ostatecznie nie wziął udziału w wojnie i pozostał w Anglii, jako instruktor.
Pierwsze małżeństwo Pierwszą żoną Simpsona była Dorothea Dechert wywodząca się z rodu prawników i polityków. Para wzięła ślub w 1923 roku i mieszkała przez pięć lat na Upper East Side w Nowym Jorku. Małżonkowie mieli jedno dziecko, córkę Audrey oraz wychowywali córkę z poprzedniego związku Dorothea’i, Cynthię. W roku 1928, para po pięciu latach małżeństwa rozwiodła się z powodu nowej miłości Ernesta, Wallis Simpson.