Życie prywatne 25 grudnia 1931 ożenił się z aktorką Margaret Sullavan, ale rozstali się po pół roku małżeństwa. 16 września 1936 w Park Avenue Christ Church w Nowym Jorku poślubił Frances Ford Seymour, wdowę po bogatym przemysłowcu, George’u T. Brokawie. Mieli dwoje dzieci: Jane i Petera, także aktorów. Latem 1949 odszedł od żony, która w kwietniu 1950 popełniła samobójstwo. W grudniu 1950 poślubił aktorkę Susan Blanchard, z którą adoptował córkę, Amy. Tuż po rozwodzie na początku 1957 ożenił się z aktorką Afderą Franchetti, z którą nawiązał romans na planie filmu Wojna i pokój, jednak i to małżeństwo skończyło się rozwodem. Następnie związał się ze znacznie młodszą byłą stewardesą Shirlee Adams, która towarzyszyła mu aż do jego śmierci.

Filmografia 1937: Slim – Slim Kincaid 1938: Jezebel – Preston Dillard 1939: Młodość Lincolna (Young Mr.