Gdy urodziła się Vivian, Charles porzucił Marię.
Ze spisu ludności w 1930 wynika, że licząca sobie wtedy cztery lata Vivian mieszkała w dzielnicy Bronx w Nowym Jorku z matką i z chorą umysłowo Jeanne Bertrand, niegdyś nagradzaną fotografką portretową, której pracę opublikował w 1902 Boston Globe.
W 1932 Vivian popłynęła z matką do Francji. Zamieszkały w rodzinnej wiosce Marii, Saint-Bonnet-en-Champsaur. Vivian uczęszczała tu do szkoły, którą skończyła w wieku dwunastu lat. W 1939 wróciły do Nowego Jorku. Vivian najpierw pomagała w domu pewnej amerykańskiej rodzinie, potem znalazła pracę w fabryce lalek, Madame Alexander Doll Factory.
W marcu 1950 znowu popłynęła do Francji, gdzie odziedziczyła mały spadek. Wtedy też zaczęła fotografować. Jej pierwszym aparatem był Kodak Brownie z tylko jednym czasem otwarcia migawki, bez kontroli ostrości i bez pokrętła przysłony. W 1951 wróciła do Stanów Zjednoczonych. Przywiozła z Francji ponad trzy tysiące zdjęć (400 rolek filmów).