Na początku lat 30. występował z małymi zespołami lokalnymi. W 1934 założył swoją grupę, z którą przez dwa lata grał w jednym z najbardziej popularnych lokali jazzowych w Chicago – klubie DeLisa. Występował z trębaczem Guyem Kellym, saksofonistą i klarnecistą Dalbertem Brightem, gitarzystą Ikem Perkinsem, kontrabasistą Israelem Crosbym i perkusistą Jimmym Hoskinsem, którzy stworzyli pierwszy skład jego grupy The Rhythm Kings. W 1936 nagrał z nią dla wytwórni Decca utwory Boogie Woogie Stomp i Swanee River Boogie, które przysporzyły mu popularności jako pianiście boogie-woogie. Na początku 1938 wyjechał do Nowego Jorku. Razem z innym mistrzem pianistyki boogie-woogie – Pete’em Johnsonem grał w klubie Café Society. Często towarzyszyli im: trzeci fortepianowy koryfeusz boogie-woogie i jego przyjaciel – Meade „Lux” Lewis oraz wokalista Big Joe Turner. 23 grudnia 1938 cała czwórka wstąpiła w Carnegie Hall na słynnym koncercie „From Spirituals to Swing”, który wywołał wielką modę na boogie-woogie. Dwa tygodnie później, będący na koncercie, producent muzyczny Alfred Lion nagrał podczas jednodniowej sesji w wynajętym studiu dziewięć utworów Ammonsa, m.in. Boogie Woogie Stomp i The Blues, osiem Lewisa oraz dwie kompozycje grane w duecie. Były to pierwsze pozycje w katalogu nowo otwartej przez Liona wytwórni Blue Note Records.