W tej sytuacji większość ludności chwyciła za broń. Główna faza powstania zaczęła się w sierpniu 1920 we wsiach Chitrowo i Kamienka. Po raz pierwszy doszło wówczas do utworzenia centralnych władz cywilnych i dowództwa armii. Władzę cywilną sprawował Związek Pracującego Chłopstwa, mający program socjalistyczny (nacjonalizacja głównych zakładów przemysłowych, sprzeciw wobec wielkiej własności ziemskiej, poparcie idei dobrowolnej spółdzielczej uprawy ziemi).

Armia złożona była z 21 pułków, nazywanych „Zieloną Armią” (termin Zielone Armie był w Rosji powszechnie używany dla określenia chłopskich oddziałów partyzanckich, nie tylko z guberni tambowskiej). Zorganizowana była w dwie armie piesze, broniące swoich terytoriów oraz w jedną armię mobilną, konną. Głównym celem strategicznym było oczyszczenie guberni z komunistów, skupiano się więc na defensywie. Podjęto też jednak nieudane ekspedycje wojskowe do sąsiednich guberni, mające za cel rozszerzenie powstania, szybko zlikwidowane przez Armię Czerwoną. Dowódcą armii od 1918 aż do śmierci w boju w połowie 1921 r. był porucznik armii carskiej, Piotr Tokmakow. Pełnił on też funkcję głowy Związku Pracującego Chłopstwa, czyli szefował cywilnej administracji.