Zmarł 31 stycznia 1972 i został uroczyście pochowany 2 lutego 1972 pod murem kremlowskim na Placu Czerwonym w Moskwie. W pogrzebie udział wzięli członkowie najwyższych władz ZSRR z Leonidem Breżniewem i Aleksiejem Kosiginem na czele, a także delegacje wojskowe wielu państw komunistycznych, w tym delegacja PRL z szefem Sztabu Generalnego WP gen. dyw. Bolesławem Chochą, szefem sztabu Śląskiego Okręgu Wojskowego gen. bryg. Tadeuszem Hupałowskim oraz attache wojskowym Ambasady PRL w Moskwie gen. bryg. Wacławem JagasemPogrzeb marszałka Zacharowa, "Trybuna Robotnicza", nr 28, 3 lutego 1972, s. 2..
Awanse generał major – 4 czerwca 1940; generał porucznik – 30 maja 1942; generał pułkownik – 20 października 1943; generał armii – 29 maja 1945; marszałek Związku Radzieckiego – 8 maja 1959.