Życie prywatne 31 sierpnia 1949 ożenił się z aktorką Gail Russell. Jednak w 1949 rozstali się, a 6 października 1954 rozwiedli się. Później w tym samym miesiącu, 25 października 1954 w Ciudad Juárez w Meksyku Madison poślubił aktorkę Sheilę Connolly. Mieli trzy córki: Bridget, Erin i Dolly. Rozstali się w listopadzie 1960 roku, a rozwiedli się 3 kwietnia 1963. Miał romans z Gią Scalą. Miał też syna Roberta (ur. 1967 w Rzymie), który również został aktorem.
Zmarł 6 lutego 1996 w Palm Springs na rozedmę płuc w wieku 74. lat. Został pochowany na cmentarzu Forest Lawn Cemetery w Cathedral City.
Filmografia Filmy fabularne 1944: Od kiedy cię nie ma (Since You Went Away ) jako marynarz Harold E. Smith 1948: Texas, Brooklyn and Heaven jako Eddie Taylor 1955: 5 Against the House jako Al Mercer 1955: Ostatnia granica (The Last Frontier) jako kpt. Glenn Riordan 1960: La Schiava di Roma jako Marco Valerio 1964: Winnetou i Old Shatterhand (Old Shatterhand) jako kpt.