W czerwcu 1954 premier Pierre Mendès France powołał go na ministra spraw wewnętrznych, funkcję tę pełnił do lutego 1955. Od lutego 1956 do czerwca 1957 był ministrem stanu i ministrem sprawiedliwości w rządzie Guya Molleta.

Funkcje ministerialne pełnił m.in. w czasie wojny algierskiej, która wybuchła, gdy stał na czele resortu spraw wewnętrznych. Jednoznacznie sprzeciwiał się wówczas oderwaniu Algierii od Francji. Jako minister sprawiedliwości opiniował wyroki skazujące na karę śmierci wydane wobec osób powiązanych z FLN – na 45 spraw tylko w nielicznych zarekomendował prezydentowi René Coty’emu skorzystanie z prawa łaski. W późniejszych latach nie wypowiadał się raczej na temat kary śmierci, dopiero w kampanii wyborczej w 1981 zadeklarował się jako jej przeciwnik.

W 1948 należał do założycieli Ruchu Europejskiego, międzynarodowego stowarzyszenia działającego na rzecz integracji europejskiej. Wzmacniał także swoją pozycję w UDSR, z której usunięto zwolenników gaullizmu. Ostatecznie w 1953 stanął na czele tego ugrupowania, kierując nim do czasu rozwiązania w 1964. W działalności politycznej zaczął reprezentować nurt lewicowy. W 1958 sprzeciwiał się przejęciu władzy przez Charles’a de Gaulle’a.