W 1921 roku Dove opuścił żonę i syna dla artystki Helen Torr, żony ilustratora Clive’a Weeda. W 1924 roku zamieszkali razem na łodzi mieszkalnej zacumowanej w CDP Halesite (miasto Huntington), na północnym wybrzeżu Long Island. W 1926 roku Dove spotkał znanego kolekcjonera, Duncana Phillipsa, założyciela Phillips Collection w Waszyngtonie. Phillips stał się odtąd prominentnym patronem Dove’a wspierając go finansowo poprzez stypendium. W 1932 roku Dove i Torr zawarli związek małżeński. Po śmierci matki w 1933 roku, Dove wraz z bratem odziedziczyli majątek rodzinny w Genevie. Dove przeniósł się tam z żoną. Oboje byli wówczas bardzo biedni, a dom pozbawiony był elektryczności i wymagał remontu. W kwietniu 1936 roku Dove z żoną odbyli pierwszą i jedyną podczas pięciu lat pobytu w Genevie podróż do Nowego Jorku. Dwutygodniowa wyprawa obejmowała wizyty w galerii An American Place, gdzie Dove miał swoją doroczną wystawę oraz w Museum of Modern Art, w którym obejrzeli przełomową wystawę Cubism and Abstract Art. W 1937 roku w Phillips Memorial Museum zorganizowana została pierwsza retrospektywna wystawa Dove’a, na której zaprezentowano 57 jego prac, wypożyczonych głównie z kolekcji Stieglitza. W 1938 roku Dove i Torr nabyli dom na nabrzeżu Titus Mill Pond w CDP Centerport, gdzie mieszkali do końca życia.