Był trzykrotnie żonaty. Matką obu chłopców była jego trzecia żona. W lutym 1972 popełniła samobójstwo, ponosząc śmierć w spalinach uruchomionego w garażu samochodu. Później mieszkał z nową partnerką i zarazem menadżerką – Diane. Jego przyjaciel, saksofonista Don Menza stwierdził, że w jego zachowaniu nic nie wskazywało, żeby miał depresję. Niemniej dwa dni przed feralnym dniem podczas wspólnej podróży autokarem usłyszał, jak Rosolino mówił do Diane o podążeniu za żoną, zabiciu się i zabraniu ze sobą synów, gdyż nie mógłby znieść myśli, że zostawi ich samych na świecie. Niewidomego Jasona adoptowali: ciotka puzonisty – Claudia Eien i jej mąż – Gary. Z wcześniejszego małżeństwa miał także córkę – Felicię, o której nigdy nie mówił, a która wraz z matką wyemigrowała po jego śmierci do Nowej Zelandii.