W styczniu 1944 dowodzona przez niego dywizja została włączona w skład 35 Korpusu Piechoty 27 Armii 2 Frontu Ukraińskiego, biorąc udział w operacji korsuńsko-szewczenkowskiej, a w marcu 1944 operacji humańsko-botoszańskiej i zajęciu Humania (10 marca 1944). Za wyróżnieniu się w tych walkach dywizja otrzymała honorowe miano humańskiej. 15 i 19 marca 1944 Koniew wraz z dywizją brał udział w wyzwalaniu Tulczyna i Mohylowa Podolskiego, a w sierpniu 1944 w operacji jassko-kiszyniowskiej. 20 sierpnia 1944 jego dywizja przerwała linię obrony wroga na północny zachód od Jass, zajmując ok. dwustu miejscowości. Do 27 sierpnia dywizja przeszła prawie 300 kilometrów, zadając wrogowi znaczne straty, a 30 sierpnia zdobyła Ploeszti. 19 września 1944 Koniew otrzymał stopień generała majora. Podczas operacji debreczyńskiej 11 października 1944 jego dywizja zdobyła rumuńskie miasto Kluż (obecnie Kluż-Napoka), a podczas operacji budapesztańskiej 30 listopada 1944 zdobyła węgierskie miasto Eger, po czym sforsowała Cisę, odpierając wiele kontruderzeń wroga na Węgrzech.