Życie prywatne thumb|Rose z jednym ze swoich pociągów, 1959 8 października 1938 poślubił aktorkę Mathę Raye. Rozwiedli się 19 maja 1941. 28 lipca tego samego roku 31-letni Rose ożenił się z 19-letnią aktorką Judy Garland. Nie mieli dzieci, choć podobno Garland co najmniej raz dokonała aborcji, ulegając naciskom matki, Rose’a i MGM. Garland i Rose rozwiedli się w 1944 roku.
Z trzecią żoną, Betty Bartholomew, miał dwie córki: Melanię i Angelę. Jego wnuczką jest piosenkarka Samantha James. Był przyjacielem Michaela Landona.
Jego pasją była kolej. Posiadał dużą kolekcję miniaturowych pociągów, a w ogrodzie jego domu w Sherman Oaks ułożono kolej wąskotorową.
Zmarł w St. Joseph's Hospital w Burbank w stanie Kalifornia w wieku 80 lat z powodu powikłań związanych z chorobą serca. Został pochowany na Cmentarzu Mount Sinai Memorial Park w Hollywood Hills.
Nagrody thumb|Gwiazda na Hollywoodzkiej Alei Sław przy 6514 Hollywood Blvd. Był dziewięciokrotnie nominowany do nagrody Emmy; zdobył ją 4 razy. Otrzymał również złotą płytę.