Życie prywatne 12 września 1973 ożenił się z aktorką Angharad Rees (ur. 1949), z którą miał dwóch synów – Linforda Jamesa (ur. 20 lipca 1974, zm. 10 września 1999) i Rhysa Williama (ur. w grudniu 1976). Linford zginął tragicznie mając 25 lat w wypadku samochodowym w 1999 w Esseksie, gdy wracał na University of Cambridge, aby obronić tytuł magistra filozofii.

Małżeństwo aktorów dobiegło końca i w roku 1994 rozwiedli się.

Cazenove spotykał się z Terri Garber (1987), która w serialu Dynastia grała jego córkę Leslie.

Od roku 2003 aż do swojej śmierci był związany z Isabel Davis.

Śmierć Zmarł 7 kwietnia 2010 w St. Thomas’ Hospital w Londynie w wieku 66 lat, przegrawszy walkę z posocznicą, 6 dni po śmierci Johna Forsythe’a, który w Dynastii grał jego starszego brata.