Świadkami na ślubie byli Clark Terry, z którym wówczas grał, oraz gitarzysta Freddie Green.

W latach 1952–1953 uczestniczył w kilku jam sessions, organizowanych przez Normana Granza, oraz nagrywał z orkiestrą Louiego Bellsona. 9 września 1952 został zarejestrowany jego świetny występ w klubie The Haig w Hollywood. W tym czasie jednak zaczął otrzymywać mniej ofert pracy i w rezultacie czuł się rozczarowany swoją karierą muzyczną, mimo że jako saksofonista ciągle był w bardzo dobrej formie. Choć w latach 40. był wzorem dla wielu młodych muzyków jako przeciwnik narkotyków, później – w obliczu kłopotów, bardziej wyimaginowanych niż rzeczywistych – sam po nie sięgnął. Wskutek tego obniżył się poziom jego gry.

Pomimo problemów z narkotykami, nadal regularnie pracował. W maju 1955 Benny Carter otrzymał zlecenie na sformowanie orkiestry na otwarcie hotelu Moulin Rouge w Las Vegas. Po rozmowie telefonicznej zaangażował go do zespołu. Gray uczestniczył we wszystkich próbach, lecz 25 maja, w dniu otwarcia hotelu, nie pojawił na występie. Następnego dnia znaleziono go martwego na pustyni na obrzeżach Las Vegas. Wg sekcji zwłok śmierć nastąpiła wskutek przedawkowania heroiny, ponadto zmarły miał złamany kark. Na temat jego śmierci pojawiło się wiele spekulacji, zwłaszcza że policja nie przeprowadziła szczegółowego dochodzenia.