Życie prywatne Williams trzy razy był żonaty. Jego pierwszą żoną była Audrey Sellers w 1959 roku. Rozwiedli się kilka lat później, po czym najwyraźniej popadł w depresję. Stwierdził, że „był okres, kiedy byłem bardzo przygnębiony, spłukany, przygnębiony”. Mają syna, Coreya Williamsa. W 1968 Williams poślubił modelkę i aktorkę Marlene Clark na Hawajach. Ich małżeństwo trwało tylko dwa lata i rozwiedli się w 1971 Williams poślubił Teruko Nakagami 27 grudnia 1972. Mają córkę, Hanako (ur. 1973). Wnieśli o rozwód w 1993, zbiegli się w 1997.
Filmografia Filmy fabularne Rok Tytuł Rola Reżyser 1959 Ostatni z gniewnych (The Last Angry Man) Josh QuincyDaniel Mann1970 Za miastem (The Out-of-Towners) Lost & Found - BostonArthur Hiller Czarna brygada (Carter's Army, TV ) szeregowy Lewis George McCowan1972 Końcowe odliczanie (The Final Comedown) Johnny JohnsonOscar Williams Lady śpiewa bluesa (Lady Sings the Blues) Louis McKaySidney J. Furie 1973 Hit! Nick AllenSidney J.