Gdy w lipcu 1969 powstała Partia Socjalistyczna, objął funkcję jej pierwszego sekretarza. W czerwcu 1971 zastąpił go François Mitterrand. W 1973 Alain Savary został posłem V kadencji, reelekcję uzyskiwał w 1978 i 1981. Od 1973 do 1981 był przewodniczącym rady regionu Midi-Pireneje.
W 1981, po objęciu przez François Mitterranda urzędu prezydenta, wszedł w skład nowo powołanego rządu. W maju 1981 został ministrem edukacji, urząd ten sprawował do lipca 1984 w trzech kolejnych gabinetach Pierre’a Mauroy. W 1984 przedstawił projekt ustawy przyznającej władzom lokalnym znaczną kontrolę nad prywatnymi placówkami oświatowymi. Propozycja spotkała się ze znacznym sprzeciwem, m.in. ze strony przedstawicieli szkół katolickich i stowarzyszeń rodziców, skutkiem czego była zwłaszcza masowa demonstracja w Paryżu w czerwcu 1984. Ostatecznie prezydent wycofał się z realizacji tego projektu. Alain Savary, nie mając poparcia ze strony François Mitterranda, złożył rezygnację ze stanowiska ministra. Ostatecznie kryzys ten skutkował dymisją całego rządu.