Pozostał w polityce. Od 1922 r. był posłem na Sejm I,II i III kadencjiTadeusz Rzepecki, Sejm Rzeczypospolitej Polskiej 1919 roku, Poznań 1920, s. 278.. Odszedł z PSL "Piast" i w 1923 r. założył PSL „Jedność Ludową”, a po połączeniu z PSL „Wyzwoleniem”, utworzył Związek Polskich Stronnictw Ludowych, którego został prezesem. Jednakże w styczniu 1926 r. został wykluczony przez sąd partyjny za „nielojalność i niesubordynację”. W tym samym miesiącu współorganizował Stronnictwo Chłopskie, na którego szefa został wybrany. Partia ta poparła zamach majowy, lecz rok później przeszła do opozycji. W latach 1928–1931 sprawował funkcję wicemarszałka Sejmu. Był czołowym działaczem Centrolewu, a także Komisji Porozumiewawczej dla Obrony Republiki i Demokracji.

29 sierpnia 1930, tuż po przebytej operacji żołądka, został dotkliwie pobity przez nieznanych sprawców w wojskowych mundurach.

Zmarł 5 czerwca 1931 r. z powodu choroby serca. 7 czerwca spoczął na cmentarzu Stare Powązki w Warszawie (kwatera 205–5–7).

W 2022 roku Fundacja ,,Stare Powązki" na zlecenie Kancelarii Prezesa Rady Ministrów, w ramach projektu odrestaurowywania grobów ministrów II RP, odnowiła miejsce pochówku Ministra spraw zagranicznych.