Ten jeden z pierwszych standardów bluesowych był najlepiej sprzedawaną w 1949 w Stanach Zjednoczonych race record – płytą z muzyką afroamerykańską i szybko stał się jego utworem rozpoznawczym. Do 1952 na listach bestsellerów muzyki R&B uplasowały się jeszcze takie jego utwory, jak In the Evening (nowa wersja znanego bluesa Leroya Carra (In the Evening) When the Sun Goes Down, No Rollin’ Blues, Big Fine Girl i The Wind Is Blowin’. Popularnością cieszyły się także śpiewane przez niego bluesy: Failing by Degrees, New Orleans Woman oraz jego kompozycja Times Gettin’ Tougher Than Tough.
W pierwszej połowie lat 50. jego – uznana za niemodną – wokalistyka blues shoutera przestała interesować słuchaczy. W rezultacie nierzadko borykał się z kłopotami finansowymi. W 1953 ogłosił bankructwo. Do łask publiczności przywrócił go w 1959 owacyjnie przyjęty występ na festiwalu jazzowym w kalifornijskim Monterey oraz album Jimmy Witherspoon at the Monterey Jazz Festival. Na estradzie towarzyszyli mu wówczas luminarze jazzu: trębacz Roy Eldridge, klarnecista Woody Herman, saksofoniści Ben Webster i Coleman Hawkins, pianista Earl Hines oraz perkusista Mel Lewis.