Z czasem oprócz dziennikarstwa zajął się też różnego rodzaju działalnością społeczną (m.in. zakładał miejscowy klub szachowy) i zyskał szerokie uznanie wśród mieszkańców swej okolicy. Pozwoliło mu to uzyskać w 1875 mandat parlamentarny. Dwa lata później wszedł w skład gabinetu George'a Greya, gdzie kierował resortami edukacji, ceł i finansów. Rząd Greya upadł w 1879, ale Ballance powrócił na szczyty władzy w 1884, już jako członek ekipy swego przyjaciela Roberta Stouta. Został wówczas ministrem odpowiadającym za sprawy ziemi, imigracji i ludności tubylczej. Starał się zachować równowagę między potrzebą rozwijania osadnictwa białych rolników, zwłaszcza w najsłabiej zaludnionych częściach kraju, a prawem Maorysów do zachowania zajmowanych przez nich ziem.
Po wyborach z 1887 rząd Stouta upadł, a Ballance – choć popularny wśród wyborców – musiał skupić się na ratowaniu swego podupadającego zdrowia. Powrócił do pełnej aktywności w 1889, kiedy został liderem opozycji, zaś pod koniec roku 1890 odniósł zwycięstwo w kolejnych wyborach. W styczniu 1891 sformował swój gabinet. Do jego najważniejszych osiągnięć zalicza się zwiększenie zakresu kompetencji premiera kosztem brytyjskiego gubernatora (trzeba pamiętać, że Nowa Zelandia była wówczas brytyjską kolonią) oraz stworzenie sprawnego systemu podatkowego.