Życie prywatne Był trzykrotnie żonaty i trzykrotnie rozwiedziony. W sierpniu 1964 zawarł związek małżeński z Hattie Glascoe, małżeństwo zostało anulowane. 21 sierpnia 1973 poślubił Christinę Mangosing, z którą ma syna Satiego (ur. 1974). W 1975 doszło do rozwodu. 25 grudnia 1987 ożenił się z Cindy James Reese, z którą zaadoptował syna Sharrona Anthony’ego (ur. 1977). W 1992 rozwiedli się.
9 sierpnia 1969 Gossett bawił się z członkami The Mamas & the Papas, kiedy wszyscy zostali zaproszeni na imprezę w domu Sharon Tate w Los Angeles. Gossett poszedł do domu, aby wziąć prysznic i przebrać się, i już miał wyjść, gdy zobaczył w telewizji wiadomość, że Tate została zamordowana przez Charlesa Mansona i jego współpracowników.
9 lutego 2010 Gossett ogłosił, że ma raka prostaty. Dodał, że choroba została zdiagnozowana we wczesnym stadium. Pod koniec grudnia 2020 Gossett trafił do szpitala w stanie Georgia z powodu COVID-19.
Zmarł 29 marca 2024 w ośrodku rehabilitacyjnym w Santa Monica w Kalifornii w wieku 87 lat.