W międzyczasie bluesowy muzyk Son House zamieszkał w Robinsonville, gdzie żył jego muzyczny partner Willie Brown. House wyznał, że zapamiętał Johnsona jako „małego chłopca, który dobrze grał na harmonijce, ale był żałośnie kiepskim gitarzystą”. Później, gdy Johnson opuścił Robinsonville i przeniósł się w okolice Martinsville, udoskonalił swoją grę na gitarze od Isaiah „Ike’a” Zinnermana. Gdy powrócił do Robinsonville, zawodowo grał na tym instrumencie.
Johnson w 1931 roku poślubił Calettę Craft, z którą przeniósł się do Clarksdale w 1932 roku. W tym mieście zostawił swoją chorą partnerkę, by zostać muzykiem.
Większą część swojego życia żył na skraju ubóstwa, pijąc dużo alkoholu i wędrując. Jego dokonaniami zainteresował się Ernie Oertle, który z kolei przedstawił muzyka Donowi Lawowi z American Record nalegając na jak najszybsze nagrania materiału. Dwie sesje w jakich uczestniczył Johnson odbyły się w 1936 (w tym roku powstał utwór Kind Hearted Woman Blues) i 1937 roku w Teksasie.