6 stycznia 1961 doszło do ich rozwodu, a już 17 marca 1961 poślubił Joan Plowright, z którą miał troje dzieci: Richarda Kerra, Tamsin Agnes Margaret i Julie Kate oraz z którą pozostawał małżeństwem przez 28 lat, aż do swojej śmierci w 1989.
Był biseksualistą. Spotykał się m.in. z Peterem Finchem, Shelley Winters, Noëlem Cowardem, Richardem Burtonem, Johnem Gielgudem, Ivorem Novello, Elissą Landi, Margot Fonteyn, Siegfriedem Sassoonem, Dannym Kaye (1949–1950), Marlonem Brando (1951) i Sarah Miles (1960).
Filmografia 1937: Wyspa w płomieniach (Fire over England) jako Michael Ingolby 1939: Wichrowe Wzgórza (Wuthering Heights) jako Heathcliff 1940: Rebeka (Rebecca) jako Maxim de Winter 1940: Duma i uprzedzenie (Pride and Prejudice) jako Fitzwilliam Darcy 1941: Lady Hamilton jako admirał Horatio Nelson 1941: 49th Parallel jako Johnnie, traper 1944: Henryk V (Henry V) jako Henryk V 1948: Hamlet jako Hamlet 1952: Siostra Carrie (Carrie) jako George Hurstwood 1957: Książę i aktoreczka (The Prince and the Showgirl) jako Charles 1960: Spartakus (Spartacus) jako Marek Licyniusz Krassus 1966: Chartum (Khartoum) jako Mahdi 1968: Romeo i Julia (Romeo and Juliet) jako narrator 1968: Trzewiki rybaka (The Shoes of the Fisherman) jako Piotr Kamieniew 1969: Bitwa o Anglię (Battle of Britain) jako marszałek lotnictwa sir Hugh