W 1855 został członkiem parlamentu kolonii, a rok później jej premierem po tym, jak wcześniejsze administracje Henry’ego Sewella i Williama Foksa przetrwały zaledwie po 13 dni. Priorytetami jego ekipy stało się jasne określenie podziału kompetencji między władzami lokalnymi a centralnymi oraz zwiększenie stopnia niezależności władz autonomicznych od reprezentującego Londyn gubernatora. M.in. zapowiedział gubernatorowi, iż rząd nie będzie ponosił żadnych kosztów operacji, o których gubernator zadecyduje bez wcześniejszej zgody parlamentu. Okres jego urzędowania przypadł na czas trwania wojen maoryskich. Stafford zajmował w tej sprawie dość łagodne wobec Maorysów stanowisko, co rodziło konflikty z wieloma innymi politykami. Był to główny powód przegłosowania przez parlament wotum nieufności wobec niego w 1861, co zmusiło go do oddania władzy.