W 1986 po raz pierwszy uzyskał mandat posła do Zgromadzenia Narodowego. Od tego czasu nieprzerwanie był wybierany na kolejne kadencje do izby niższej parlamentu, skutecznie ubiegając się o reelekcję w każdych wyborach (1988, 1993, 1997, 2002 i 2007). W 1997 stanął na czele poselskiej Grupy Socjalistycznej, od 2007 działającej pod nazwą Grupa Socjalistów, Radykałów, Obywateli i Pozostałej Lewicy (Socialiste, radical, citoyen et divers gauche), pełnił tę funkcję przez piętnaście lat.
Premier 15 maja 2012 Jean-Marc Ayrault został mianowany na urząd premiera przez nowo wybranego prezydenta François Hollande’a. 16 maja 2012 został ogłoszony skład jego gabinetu, w którym poszczególne funkcje objęli przedstawiciele PS, a także zielonych i radykałów.
Wystartował następnie w wyborach parlamentarnych w 2012, uzyskał poselską reelekcję już w pierwszej turze z 10 czerwca. 18 czerwca tego samego roku, dzień po drugiej turze wyborów, w których socjaliści i ich sojusznicy uzyskali większość w Zgromadzeniu Narodowym XIV kadencji, premier podał się do dymisji. Tego samego dnia otrzymał od prezydenta ponowną nominację z misją utworzenia drugiego gabinetu.