Uczęszczał do szkoły średniej im. Bookera T. Washingtona (Booker T. Washington High School), do której wcześniej chodził słynny wokalista R&B Rufus Thomas. W szkole przyjaźnił się z grupką przyszłych sławnych postaci show biznesu: Davidem Porterem (wokalista, twórca piosenek, współpracownik Isaaca Hayesa), Andrew Lovem (saksofonista grupy The Memphis Horns), Williamem Bellem (wokalista twórca piosenek) oraz Maurice’em White’em (wokalista grupy Earth, Wind & Fire, twórca piosenek). Wśród owych talentów, Jones był uważany za najbardziej uzdolnionego i to jemu powierzono prowadzenie przez cztery lata szkolnej orkiestry, która grała do tańca m.in. na balach maturalnych w Memphis oraz występowała na całym Środkowym Zachodzie.
Choć już wcześniej występował publicznie – w kościele, z orkiestrą szkolną oraz zespołami R&B w lokalnych klubach nocnych – jako muzyk zawodowy zadebiutował w wieku szesnastu lat. W 1960, zaangażowany przez miejscową wytwórnię Satellite (późniejszą Stax, zagrał na saksofonie barytonowym w jej pierwszym przeboju Cause I Love You. Piosenkę zaśpiewali: Rufus Thomas i jego córka Carla. Od tego czasu był sidemanem w Staksie. W tym okresie również Willie Mitchell, muzyk i producent płytowy, zatrudnił go w swoim zespole. Początkowo grał na saksofonie, a później na kontrabasie.