Przeprowadził lwowsko-sandomierską operację zaczepną, w rezultacie czego została zajęta Zachodnia Ukraina. Od maja 1944 dowodził 1 Frontem Ukraińskim, którego wojska doprowadził do Berlina. Jednak mimo lepszej sytuacji strategicznej, Józef Stalin nie powierzył mu zaszczytu uderzenia na Reichstag, centrum miasta. Dokonał tego marsz. Gieorgij Żukow. W końcowym etapie wojny marszałek przeprowadził błyskawiczną akcję, efektem której było zajęcie Pragi.
W latach 1945–1946 był dowódcą Centralnej Grupy Wojsk Radzieckich i wysokim komisarzem w Austrii. W trakcie sporu Gieorgija Żukowa z Józefem Stalinem, wraz z innymi oficerami, poparł marszałka. Po jego dymisji ze stanowiska naczelnego dowódcy wojsk lądowych w 1946 objął tę funkcję. Został też zastępcą ministra obrony ZSRR. W latach 1950–1951 został głównym inspektorem Armii Radzieckiej. W roku 1950 był deputowanym do Rady Najwyższej ZSRR, a w roku 1952 – członkiem Komitetu Centralnego KPZR. W latach 1952–1955 pełnił funkcję dowódcy Karpackiego Okręgu Wojskowego. W 1955, po utworzeniu Układu Warszawskiego, był pierwszym dowódcą jego zjednoczonych sił (do roku 1960). W tym samym czasie pełnił funkcję pierwszego zastępcy ministra obrony ZSRR (1956–1960). W roku 1956 dowodził stłumieniem antykomunistycznego i antyradzieckiego powstania na Węgrzech.