Po ataku Niemiec na ZSRR jego dywizja została włączona w skład 24 Armii i skierowana na Front Zachodni i od lipca 1941 brała udział w walkach. Koniew uczestniczył w walkach obronnych w rejonie Smoleńska, gdzie 24 lipca 1941 został ciężko ranny. Po wyjściu ze szpitala we wrześniu 1941 został szefem sztabu 7 Korpusu Powietrznodesantowego w Nadwołżańskim Okręgu Wojskowym, w lipcu 1942 był szefem sztabu 1 Korpusu Powietrznodesantowego, w sierpniu 1942 objął dowództwo 8 Korpusu Powietrznodesantowego w Moskiewskim Okręgu Wojskowym, który w grudniu 1942 został przeformowany w 3 Gwardyjską Dywizję Powietrznodesantową, której Koniew został wówczas dowódcą, dowodząc nią do końca wojny. Od stycznia do marca 1943 jego dywizja prowadziła walki z przeciwnikiem w składzie 1 Armii Uderzeniowej na Froncie Północno-Zachodnim pod Starą Russą i nad rzeką Łować, brała też udział w drugiej operacji diemiańskiej i starorusskiej. W końcu marca 1943 wraz z dywizją i 1 Armią Uderzeniową został przerzucony na Front Centralny, w lipcu 1943 brał udział w bitwie kurskiej, później w operacji orłowskiej i czernihowsko-prypeckiej, w tym w odbiciu miasta Oster i forsowaniu Desny i Dniepru oraz odbiciu Radomyśla.