Do tej sytuacji odniosła się nawet telewizja BBC, komentując: „Uwadze nie umknął fakt, że Susaye była jedyną członkinią The Raelettes, która zaśpiewała na pogrzebie Raya”.
Życie prywatne Charles był żonaty dwukrotnie, z różnymi kobietami miał dwanaścioro dzieci. Jego pierwszą żoną była Eileen Williams. Ich małżeństwo nie trwało jednak długo, bo zawarte zostało 31 lipca 1951 roku, a zakończyło się w 1952 roku. Drugą żoną muzyka była Della Beatrice Howard Robinson, z którą miał trzech synów. Małżeństwo z Dellą trwało znacznie dłużej, bo od 5 kwietnia 1955 roku do 1977 roku. Wieloletnią przyjaciółką i partnerką Raya aż do chwili jego śmierci była Norma Pinella.
Dzieci muzyka to: Charles Wayne Hendricks (syn Marge Hendricks – członkini The Raelettes) Evelyn Robinson (córka Louise Mitchell) Raenee Robinson (córka Mae Mosely Lyles) Sheila Robinson (córka Sandry Jean Betts) Vincent Kotchounian (syn Arlette Kotchounian – pracowała z Charlesem jako fotograf przy tworzeniu albumu Would You Believe?) David Robinson (syn Delli Robinson) Ray Charles Robinson Jr. (syn Delli Robinson) Reverend Robert Robinson (syn Delli Robinson) Reatha Butler Alexandria Bertrand (córka Chantelle Bertrand)