Również od 1969 zaczął obejmować różne funkcje publiczne. Został wówczas wybrany do Zgromadzenia Narodowego (do 1973). Powrócił do niższej izby krajowego parlamentu w 1978, uzyskiwał reelekcję w 1981, 1986 i 1988, kandydując w różnych okręgach wyborczych departamentu Yvelines. Pełnił też stanowiska w administracji terytorialnej. Był wieloletnim radnym Conflans-Sainte-Honorine, a w latach 1977–1994 sprawował urząd mera tej miejscowości. Zasiadał również w radzie regionu Île-de-France.
W latach 1981–1983 w dwóch rządach Pierre’a Mauroy był ministrem planowania gospodarczego i ministrem stanu. Następnie w jego trzecim rządzie i w gabinecie Laurenta Fabiusa sprawował do 1985 urząd ministra rolnictwa. 10 maja 1988 objął stanowisko premiera Francji (jego poprzednikiem był Jacques Chirac), które zajmował do 15 maja 1991, ustępując na rzecz Édith Cresson. Kierował w tym czasie dwoma gabinetami – pierwszy rząd Michela Rocarda powstał 10 maja 1988, zaś drugi urzędował od 23 czerwca 1988. W 1993 Michel Rocard stanął na czele Partii Socjalistycznej jako jej pierwszy sekretarz, ustąpił już jednak po roku. Od 1995 do 1997 był członkiem francuskiego Senatu.