To wystarczyło jednak, aby w bardzo wczesnym wieku ćwiczyć śpiew, poznać zasadę działania instrumentów perkusyjnych, znaleźć poczucie melodii.
Pierwszą grupą muzyczną, która go zainspirowała do tego, aby zostać muzykiem była meksykańska Trío Los Panchos – grająca bolero i specjalizująca się w romantycznych balladach. Młody chłopak zapragnął zostać perkusistą – nie przypuszczał, że w przyszłości będzie sławnym wokalistą. Umiłowanie perkusji miało prawdopodobnie związek z pochodzeniem – jego przodkowie pochodzili z Afryki, a Afrykanie słyną ze znakomitego poczucia rytmu.
W 1952 roku razem z rodzicami wyemigrował do Stanów Zjednoczonych. Rodzina zamieszkała w Hiszpańskim Harlemie – dzielnicy położonej w północnej części nowojorskiego Manhattanu. W Nowym Jorku José znalazł pierwszą pracę jako zawodowy muzyk – w orkiestrze Tito Rodrígueza.