Ponieważ zespół miał piosenkarkę, czasem kilku białych wdzierało się na scenę, aby pobić Walkera, który uciekał w takich wypadkach awaryjnym wyjściem pożarowym.

Towarzystwo muzyków zmuszało Walkera także do picia alkoholu, co stało się jego nawykiem i odbiło się na zdrowiu. Będąc jeszcze nastolatkiem miał już wrzody żołądka spowodowane piciem. Znalazł się w szpitalu.

Także jeszcze w 1933 roku pracował w Milt Larkins Band. W rok później był członkiem zespołu pieśniarki bluesowej Ma Rainey i występowali w Fort Worth w Teksasie. Pewnego dnia podczas występów w Gem Hotel poznał Vidę Lee, którą poślubił w 1935 roku. Małżeństwo przetrwało do samej śmierci artysty; mieli trójkę dzieci.

Ponieważ mieszkali wspólnie z matką Walkera, T-Bone miał problemy z utrzymaniem rodziny i postanowił przenieść się do Kalifornii do Los Angeles. Najął się jako kierowca do przedsiębiorstwa, które transportowało samochody na Zachodnie Wybrzeże. Nie płaciło ona nic kierowcom za dostawę, ale kierowcy mieli darmowy transport. W trójkę dostarczyli do Los Angeles 6 aut, gdyż każdy samochód ciągnął za sobą drugi.