28 grudnia 1957 ożenił się z 19-letnią aktorką Natalie Wood. Po rozwodzie, który miał miejsce 27 kwietnia 1962, prasa łączyła ją z każdym partnerem filmowym, w tym z Warrenem Beattym. Przyjaciele namówili Wagnera do wizyty u psychologa. 21 lipca 1963 Wagner poślubił swoją przyjaciółkę Marion Marshall Donen, z którą ma córkę Katherine (ur. 1964). Jednak osiem lat potem, 14 października 1971 doszło do rozwodu. Po rozwodzie oświadczył się córce Franka Sinatry – Tinie (1970–1972), ale do ślubu nie doszło, gdyż Wagner stwierdził, że wciąż nie może zapomnieć o swojej pierwszej żonie, Wood. Pobrali się ponownie 16 lipca 1972. Urodziła im się córka Courtney Brooke (ur. 9 marca 1974).
29 listopada 1981 Wood, Wagner i aktor Christopher Walken (z którym, jak głosi plotka, Wood miała romans na planie dreszczowca fantastycznonaukowego Douglasa Trumbulla Burza mózgów (Brainstorm, 1983)), relaksowali się w okolicach wyspy Catalina Island u wybrzeża Kalifornii na jachcie na Oceanie Spokojnym. Oprócz nich na pokładzie był jedynie szyper. Późnym wieczorem Wagner przybiegł do kapitana, informując, że jego małżonka „zniknęła”. Jej poszukiwania nie przyniosły rezultatu;