W 1923 przeprowadził się z ciotką do Nowego Jorku. Mieszkali w Harlemie niedaleko The Rhythm Club, w którym usłyszał pianistę Jelly’ego Roll Mortona. Po ukończeniu szkoły podstawowej chodził do Frederick Douglass Junior High School. Naukę zakończył w wieku szesnastu lat. Kiedy zmarła jego matka, wrócił do Charleston, żeby ją pochować. Odnowił wtedy znajomość z dawną sympatią z sąsiedztwa – Leothą Elmo. Wkrótce ją poślubił. Podejmował różne zajęcia, m.in. pomagał teściowi, który był pracownikiem budowlanym. Przy różnych okazjach grywał na ukulele oraz chodził na występy The Nighthawks. Po jednym z nich kupił w lombardzie banjo i zgłosił się do zespołu. Po kilku próbach został przyjęty, rozpoczynając karierę zawodowego muzyka.
Podczas swojej pierwszej trasy koncertowej dotarł do Nowego Jorku i już w nim pozostał. Następnie sprowadził żonę i synka. Pracował wtedy w dwóch miejscach – za dnia w zakładzie tapicerskim, a wieczorami w klubie The Yeah Man, grając w trio z kolegą z dzieciństwa, saksofonistą Lonniem Simmonsem i pianistą Ericem Henrym. Właściciel lokalu wymógł na nim zmianę banjo na gitarę, bo teraz wszyscy grają na gitarach. Później pracował w szeregu innych klubów nowojorskich. W 1937, kiedy grał w The Black Cat, dostrzegł go producent muzyczny i odkrywca talentów John Hammond.