Trzy lata później porzucił muzykę, powrócił do Champaign i zatrudnił się w nowo otwartej pralni chemicznej swojego przybranego ojca. Bez muzyki wszakże długo nie wytrzymał i po roku grał już w Chicago m.in. z zespołem saksofonisty bebopowego Johnny’ego Griffina. Wtedy jednak zaczął dochodzić do wniosku, że kontrabas nie jest jego instrumentem, ponieważ Griffin lubi grać z prędkością 150. mil na godzinę... potem moje palce wyglądają jak surowy befsztyk. Pod koniec lat 50. przestawił się na organy Hammonda, do czego nakłaniał go także saksofonista Willis „Gator” Jackson, w którego zespole wówczas występował.
Po odejściu w 1959 z grupy Jacksona sformował własne trio wg formatu spopularyzowanego przez innego organistę – Jimmy’ego Smitha: organy, gitara i perkusja. W jego zespołach (o zmiennym składzie) grali tacy gitarzyści, jak Kenny Burrell, Grant Green, Bill Jennings i George Benson, którego wylansował. W tym czasie był jednym z najchętniej nagrywanych muzyków przez wytwórnię płytową Prestige. Jego debiutancki album jako lidera – Brother Jack ukazał się w 1960. Za sprawą tytułu płyty spopularyzował się prawdopodobnie jego przydomek „Brother Jack”. Do 1964 Prestige wydała dwanaście jego płyt.