W 1941 mianowany przez Józefa Stalina ludowym komisarzem uzbrojenia (później minister przemysłu obronnego). Po wojnie wykorzystał specjalistów niemieckich na potrzeby radzieckiego programu rakietowego i badań kosmicznych. Twórca radzieckiego przemysłu rakietowego. Pełnił funkcję wicepremiera ZSRR od 1957–1965. Był członkiem-kandydatem Politbiura KC KPZR od 1965, w tym też roku został sekretarzem KC odpowiedzialnym za produkcję zbrojeniową. Od 1976 minister obrony i członek Biura Politycznego; w tym roku otrzymał też stopień wojskowy Marszałka Związku Radzieckiego. Deputowany do Rady Najwyższej ZSRR 2. i od 4. do 10. kadencji.
Przyjaciel Leonida Breżniewa i jeden z najbardziej wpływowych ludzi na szczycie władz ZSRR – przywódca kompleksu obronno-przemysłowego. Lobbował za zwiększaniem wydatków na zbrojenia. W 1979 wpłynął na interwencję wojsk radzieckich w Afganistanie. W czasie kryzysu polskiego 1980 zwolennik interwencji zbrojnej w Polsce.