Życie prywatne Utrzymywał intymne stosunki ze swoją macochą, Mamie Floyd. Miał także romans z modelką i tancerką rewiową Evelyn Nesbit, aktorką Irene Frizzel, artystką rewiową Hazel Allen, kasjerką Lottą Faust, aktorką Bonnie Maginn oraz tancerką i modelką Virginie Blackburn. 1 września 1910 w kościele św. Ksawerego w Nowym Jorku poślubił aktorkę Katherine Harris, z którą rozwiódł się w 1917. W 1917 nawiązał romans z pisarką Blanche Thomas, którą w końcu poślubił i z którą miał córkę; małżonkowie zdecydowali się na separację, a następnie na rozwód. Na planie filmu Beau Brummel nawiązał romans z młodszą o 23 lata aktorką Mary Astor. 14 listopada 1928 poślubił aktorkę Dolores Costello, z którą miał syna Johna i z którą rozwiódł się 9 października 1935. W 1936 wziął ślub z młodszą o 34 lata studentką dziennikarstwa Elaine Jacobs, z którą rozwiódł się cztery lata po ślubie.