Już na samym początku urzędowania pojawiły się problemy. 17 czerwca 1843 spory między tubylcami a kolonistami skończyły się masakrą Maorysów w Wairau. FitzRoy uznał, że działalność kolonistów była nielegalna, co nie przysporzyło mu popularności wśród osadników. Tymczasem narastały problemy w związku ze sprawą wykupu maoryskiej ziemi przez Brytyjczyków. Narastały nieporozumienia, gdyż Maorysi czuli się oszukiwani przez kolonistów. Gubernator zwykle stawał po stronie tubylców, co coraz bardziej irytowało Kompanię Nowej Zelandii. Wkrótce wybuchła otwarta wojna.

Jako winnego tego stanu rzeczy Kompania przedstawiała gubernatora, który nie potrafi zapanować nad tubylcami. Aktywne działania Kompanii w Anglii doprowadziły do tego, że Izba Gmin zdecydowała się pozbawić FitzRoya funkcji gubernatora Nowej Zelandii. Jego następcą został George Grey, który został odpowiednio zaopatrzony w pieniądze i wojsko, czyli to czego tak bardzo brakowało FitzRoyowi.