5 kwietnia 1952 ożenił się z Betty Ebeling. Mieli syna Christophera Lamonta (ur. 22 listopada 1952, zm. 23 października 2013) oraz trzy córki – Courtenay (ur. 1954), Cynthię (ur. 1956) i Claudię Leslie (ur. 3 marca 1958, zm. 27 listopada 2012). 4 stycznia 1967 doszło do rozwodu. 18 października 1970 zawarł związek małżeński z Pamelą Feeley. W 1975 opuścił Hollywood i przeprowadził się do Tucson w Arizonie.
Był jedną z pierwszych gwiazd Hollywood, która w wywiadzie dla magazynu „Playboy” ze stycznia 1969 zadeklarowała swoje poparcie dla ruchu na rzecz praw gejów. Następnie stwierdził, że nie będzie miał problemu z graniem na ekranie postaci homoseksualnych, ponieważ ma pewność, że ma własną orientację seksualną.
Śmierć Zmarł nagle 29 sierpnia 1987 na zawał serca w wieku 63 lat. Został pochowany na Cmentarzu Narodowym w Arlington.