W 1918 wstąpił do partii komunistycznej RKP(b) i Armii Czerwonej, w szeregach której walczył w wojnie domowej. W 1934 ukończył Akademię Wojskową im. Michaiła Frunzego. Cztery lata później objął dowództwo 2 Samodzielnej Armii Dalekiego Wschodu, a później Zabajkalskiego Okręgu Wojskowego i Północnokaukaskiego Okręgu Wojskowego. W czasie II wojny światowej dowodził 19 Armią, a potem Frontem Zachodnim. 17 października objął dowództwo Frontu Kalinińskiego. Współwinny klęski na przedpolach Moskwy w 1941, był bliski stanięcia przed plutonem egzekucyjnym. Uratowało go wstawiennictwo gen. Gieorgija Żukowa. Samodzielne dowództwo objął ponownie w sierpniu 1942.
Od czerwca 1943 był dowódcą Frontu Stepowego (później 2 Frontu Ukraińskiego). Na jego czele brał udział w kontrofensywie radzieckiej na łuku kurskim. 20 lutego 1944 mianowany marszałkiem Związku RadzieckiegoУказ Президиума Верховного Совета СССР «О присвоении генералу армии Коневу И. С. военного звания маршала Советского Союза» от 20 февраля 1944 года // Ведомости Верховного Совета Союза Советских Социалистических Республик: газета. – 1944. – 29 февраля (№ 12 (272)). – С. 1.. Pod jego dowództwem wojska radzieckie wyzwoliły Charków, sforsowały Dniepr i przeprowadziły operację kirowską oraz korsuńsko-szewczenkowską. Dokonał także rozbicia humańskiego zgrupowania wojsk niemieckich.