Jako muzyk był znany niemal tylko w Chicago. W 1936 zyskał nieco zainteresowania dzięki swojej kompozycji Yancey Special, którą „Lux” Lewis przedstawił na swojej płycie we własnym wykonaniu. W kwietniu 1939 dokonał swoich pierwszych nagrań w studiu małej wytwórni Solo Art. Pod koniec tegoż roku nagrywał już dla RCA Victor. Kilka utworów zarejestrował także dla wytwórni Bluebird i Vocalion w 1940. Niestety jego płyty nie sprzedawały się dobrze. Początkowo nagrywał solo, ale w 1943 dołączyła do niego poślubiona w 1917 żona – wokalistka Estelle. Jako Jimmy & Mama Yancey zaśpiewali kilka utworów, zarejestrowanych podczas sesji dla niewielkiej firmy Sessions z Chicago. W 1948 wystąpili razem w nowojorskiej Carnegie Hall. Pod koniec życia zyskał pewną sławę, ale mimo lepszych zarobków nigdy nie zrezygnował z pracy w klubie White Socks. W 1951 nagrał z Estelle album, który po jego śmierci wydała wytwórnia Atlantic.
W ostatnim okresie życia chorował na cukrzycę. Zmarł na spowodowany jej skutkami udar mózgu.