Mimo wsparcia, został jednak wyparty i stamtąd, nękany przez polską kawalerię, a także lotnictwo. Podczas odwrotu do Żytomierza morale i dyscyplinę w szeregach Konarmii zaczęły zastępować instynkty bandyckie. Maszerując w stronę Dniepru, podkomendni Budionnego dopuścili się serii pogromów, w dużej mierze na Żydach.
Dalsza służba W latach 1921–1923 był zastępcą dowódcy Północnokaukaskiego Okręgu Wojskowego, od 1923 zaś pomocnikiem ds. kawalerii głównodowodzącego Armią Czerwoną, w latach 1924–1937 był inspektorem kawalerii. W 1932 ukończył Akademię Wojskową im. Michaiła Frunzego. Od 1934 należał do WKP(b).
20 listopada 1935 został mianowany (jako jeden z pięciu dowódców) Marszałkiem Związku Radzieckiego. W przeciwieństwie do wielu innych dowódców rewolucyjnych, nie utracił zaufania Józefa Stalina.