Jako dziecko cierpiała na brak wystarczającej troski i zainteresowania ze strony chłodnych emocjonalnie rodziców, była wychowywana głównie przez guwerantki i liczny personel zatrudniony w rezydencji Fondów. W 1949 jej ojciec odszedł do innej kobiety, aktorki Susan Blanchard. Jej matka w kwietniu 1950 popełniła samobójstwo w szpitalu psychiatrycznym Craig House w Beacon pod Nowym Jorkiem. Po ślubie ojca z Susan Blanchard w grudniu 1950 (małżeństwo zakończyło się rozwodem w 1957) przeprowadziła się z nim do kamienicy przy East Severty Fourth Street w Nowym Jorku. Kiedy miała 13 lat, zachorowała na bulimię, z którą mierzyła się aż do 37. roku życia.

W 1944 rozpoczęła naukę w Town and Country School w Brentwood, a następnie w Greenwich Academy w Greenwich w stanie Connecticut, dokąd przeprowadziła się ze względu na zobowiązania zawodowe ojca. Uczyła się w żeńskim Vassar College w Troy. Latem 1956 wyjechała do Paryża, gdzie podjęła studia w zakresie malarstwa w akademii Beaux Art. Po powrocie do Stanów Zjednoczonych pracowała jako fotomodelka, a jedno z jej zdjęć zostało opublikowane w 1959 na okładce lipcowego wydania czasopisma „Vogue”.