Rok później ożenił się ponownie, a w latach 1867–1869 znów zasiadał w parlamencie, ale do głównego nurtu walki politycznej wrócił dopiero w 1872. Stał się najważniejszym krytykiem Juliusa Vogela, wtedy ministra finansów. Atkinson twierdził, że lansowany przez Vogela plan ogromnych inwestycji za publiczne pieniądze stanowi przejaw zbyt swobodnego i nieostrożnego szastania groszem podatników. Z drugiej strony obaj panowie zgadzali się, iż władze prowincjonalne posunęły się zdecydowanie za daleko w pożyczaniu pieniędzy. Ta płaszczyzna porozumienia pozwoliła Atkinsonowi zasiadać w gabinecie Vogela, gdy ten został premierem, jednak w innych kwestiach ich spory trwały.
Po dymysji Vogela w 1876, Atkinson zdołał zająć jego miejsce. Natychmiast zlikwidował władze prowincjonalne, dokonał też zasadniczych zmian w polityce ekonomicznej, starając się ograniczyć dług publiczny. Mimo tych reform sytuacja gospodarcza kolonii wciąż się pogarszała, co sprawiło, że po 13 miesiącach rządów utracił władzę i przeszedł do opozycji.