Nagrał czternaście tytułów dla wytwórni Blue Note w trio (1951), i współpracował z takimi muzykami, jak Washington, Gillespie, czy Lester Young w latach 1951-1952. Po odbyciu służby wojskowej współpracował z Washingtonem (1955-1957), Charlesem Mingusem (1956–1957) oraz big bandem Dizzy’ego Gillespiego (1957), lecz jest najbardziej znany z pracy z Milesem Davisem (1959-1963), z którym nagrał albumy Kind of Blue, At the Blackhawk, i Someday My Prince Will Come. Opuszczając Davisa, Kelly zabrał ze sobą resztę sekcji rytmicznej (basistę Paula Chambersa i perkusistę Jimmy’ego Cobba), by stworzyć własne trio.
Nagrywał jako lider m.in. dla wytwórni Blue Note, Riverside Records, Vee-Jay, Verve i Milestone Records. W 1963 Kelly został ojcem córki, Tracy, z partnerką Anne. Jej został zadedykowany utwór „Little Tracy”, z Comin' in the Back Door. Tracy Matisak jest teraz reporterką telewizji z Filadelfii.
Dalszy krewny Kelly’ego, basista Marcus Miller, również grał z Milesem Davisem w latach 80. i 90.
Zmarł w Toronto, w Kanadzie w kwietniu 1971.