Pełnił także funkcje we władzach PZPR: członka Komitetu Centralnego PZPR (1964–1981), zastępcy członka Biura Politycznego KC PZPR (1971–1975) i członka Biura Politycznego (1975–1980).

W latach 1965–1981 poseł na Sejm PRL (IV, V, VI, VII i VIII kadencji). Był głównym pomysłodawcą budowy gmachu przy placu Sejmu Śląskiego 2 w Katowicach. Pozostawał bliskim znajomym Edwarda Gierka.

Po strajkach w 1980 oraz utworzeniu „Solidarności” rząd Edwarda Gierka i jego popleczników znalazł się w trudnej sytuacji; Zdzisław Grudzień zagłosował za odwołaniem Edwarda Gierka na posiedzeniu 5 września 1980. W lipcu 1981 został wykluczony z PZPR, w następnym miesiącu złożył mandat poselski. W lipcu 1981 został pozbawiony przez Radę Państwa PRL Orderu Budowniczych Polski Ludowej. Po wprowadzeniu stanu wojennego internowany wraz z Edwardem Gierkiem, Piotrem Jaroszewiczem i innymi czołowymi politykami lat 70. na terenie wojskowego ośrodka w Głębokiem;