16 kwietnia 1951 ożenił się z aktorką Arlene Dahl, ale to małżeństwo przetrwało do 15 października 1952. 25 czerwca 1954 Arlene wyszła za mąż za aktora Fernando Lamasa, z którym ma syna Lorenzo (ur. 20 stycznia 1958).
8 września 1953 stanął na ślubnym kobiercu z aktorką Laną Turner, lecz 22 lipca 1957 małżeństwo się rozwiodło. W książce „Detour: a Hollywood Tragedy – My Life With Lana Turner, My Mother” (1988) napisanej przez córkę Lany i Steve’a Crane’a – Cheryl Crane, autorka wielokrotnie twierdziła, że Barker molestował i gwałcił ją, a gdy poinformowała o tym swoją matkę – rozwiedli się„Detour: a Hollywood Tragedy - My Life With Lana Turner, My Mother” (1988).
W 1957 r. we Włoszech poznał szwajcarską studentką aktorstwa Irene Labhart, z którą się ożenił 14 marca 1959 w Rzymie. Mieli jednego syna Christophera (ur. 2 maja 1960), który został aktorem i piosenkarzem. W 1962 r. Labhart popełniła samobójstwo, gdy dowiedziała się że choruje na śmiertelną białaczkę.
W 1963 r. związał się z niemiecką aktorką i piosenkarką Heidi Brühl (1941–1991).