Hargrove studiował w Berklee College of Music w Bostonie przez rok (1988–1989), po czym przeniósł się do The New School w Nowym Jorku, gdzie stał się aktywnym uczestnikiem lokalnej sceny jazzowej i jam session.

Kariera muzyczna W 1990 roku wydał debiutancki album solowy Diamond in the Rough (wytwórnia Novus/RCA), który przyniósł mu międzynarodowy rozgłos. W 1994 roku podpisał kontrakt z wytwórnią Verve Records. Jego twórczość w tym okresie charakteryzowała się łączeniem pokoleń jazzowych – na albumie The Roy Hargrove Quintet with the Tenors of Our Time (1994) zagrali z nim m.in. Joe Henderson, Stanley Turrentine, Johnny Griffin, Joshua Redman i Branford Marsalis. Współpraca z weteranami (m.in. Jackie McLean, Herbie Hancock, Michael Brecker) była dla niego kluczowym doświadczeniem formacyjnym.

Hargrove był dwukrotnie nagradzany statuetką Grammy. Pierwszą nagrodę otrzymał w 1998 roku w kategorii Best Latin Jazz Performance za album Habana, nagrany z założonym przez siebie afrokubańskim zespołem Crisol. Drugą statuetkę zdobył w 2003 roku (podczas 45.