Muzykę lubił od dzieciństwa. Będąc malcem, niejednokrotnie gubił się w mieście, podążając za orkiestrami marszowymi. Karierę muzyczną rozpoczął jako perkusista. Na fortepianie zaczął grać mniej więcej w tym samym czasie, kiedy uczył się gry na perkusji. Jego pierwsze kontakty z pianinem miały miejsce w kościele. Pracował wówczas w ekipie budowlanej remontującej świątynię. Donosił wodę murarzom. Po napełnieniu zbiornika biegł do kościelnego pianina i próbował grać. Później poszerzał swoje umiejętności na zdezelowanym instrumencie w sali na mieście, w której grano w karty.

W 1922 zrezygnował z perkusji na rzecz fortepianu. Założył trio, z którym występował w Backbiter’s Club, lokalu o marnej reputacji. W nim poznał wokalistę Big Joego Turnera, z którym później często współpracował. Zostali przyjaciółmi na całe życie. W 1936 wypatrzył ich obu producent muzyczny i „łowca talentów” John Hammond, który od razu załatwił im pracę w klubie Famous Door w Nowym Jorku. W 1938 wystąpili razem na koncercie „From Spirituals to Swing”, zorganizowanym przez Hammonda w Carnegie Hall. Koncert ów wywołał wielką modę na boogie-woogie. W tym czasie zaczął regularnie nagrywać. Występował także z Ammonsem i Lewisem jako The Boogie-Woogie Trio. Ponadto uczestniczył w kilku sesjach nagraniowych Turnera, uznanych później za klasyczne.