Niespełna roczny okres jego urzędowania przypadł na czas dużych niepokojów społecznych, zarówno między rdzennymi a napływowymi mieszkańcami archipelagu, jak i pomiędzy społecznościami dwóch największych miast – Auckland i Wellington (ci pierwsi nie mogli pogodzić się z faktem utraty statusu stołecznego na rzecz tych drugich). W tym czasie doszło też do wycofania z Nowej Zelandii wojsk brytyjskich, co jednak budziło bardzo mieszane odczucia wśród opinii publicznej. Weld źle znosił trudy sprawowania urzędu, zaczął mieć kłopoty ze zdrowiem, i ostatecznie podał się do dymisji w październiku 1865. Niespełna rok później powrócił do Anglii.
Gubernator Po okresie rekonwalescencji, w 1869 rozpoczął karierę administratora kolonialnego i powrócił na Antypody jako gubernator Australii Zachodniej. Postanowił poznać kolonię od podszewki i w ciągu pierwszych sześciu miesięcy urzędowania przemierzył ok. 1900 km na końskim grzbiecie. W 1874 ponownie spędził kilka miesięcy w Nowej Zelandii, porządkując swoje sprawy biznesowe. W 1875 objął stanowisko gubernatora Tasmanii, które piastował przez kolejnych pięć lat. Ukoronowaniem jego kariery było pełnione w latach 1880–1887 stanowisko gubernatora Straits Settlements, kolonii na Malajach obejmującej m.in.