Brał również udział w negocjacjach, które w 1910 doprowadziły do powstania Związku Południowej Afryki.

Pierwszym premierem Związku został Louis Botha. Smuts objął w jego rządzie stanowiska ministra spraw wewnętrznych, ministra kopalń i ministra obrony. W 1912 przestał być ministrem spraw wewnętrznych, został za to ministrem finansów. Działalność Smutsa i łączenie przezeń licznych urzędów były krytykowane przez wielu członków jego partii. W 1913 trzech z nich – Barry Hertzog, Martinus Theunis Steyn i Christiaan Rudolf de Wet – zażądało od Bothy i Smutsa rezygnacji. Nie uzyskali jednak poparcia wystarczającej liczby członków Partii Południowoafrykańskiej, wobec tego opuścili ugrupowanie i założyli Partię Narodową.

W 1914 strajk na kolei przekształcił się w strajk generalny, co zmusiło Smutsa do wprowadzenia stanu wojennego. Bez procesu doprowadził do wydalenia liderów związkowych i uzyskał od parlamentu zwolnienie go od wszelkiej odpowiedzialności za podjęte działania. Wywołało to niezadowolenie w szeregach Partii Narodowej. W październiku część Afrykanerów pod wodzą podpułkownika Manie’ego Maritza zbuntowała się przeciwko rządowi. Siły rządowe szybko stłumiły rebelię.