Został wówczas przeniesiony na urząd gubernatora Jamajki.
W 1863 został gubernatorem Wiktorii, wówczas najszybciej rozwijającej się z kolonii australijskich. Stanowisko to, znane w środowisku brytyjskiej administracji kolonialnej jako prestiżowe i wyjątkowo dobrze płatne, miało stanowić ukoronowanie jego kariery. Szybko jednak przestał spełniać pokładane w nim nadzieje Ministerstwa Kolonii, ponieważ zamiast być bezstronnym arbitrem na lokalnej scenie politycznej, co było podstawowym zadaniem gubernatorów kolonii cieszących się już autonomią, zawarł bliski sojusz z częścią miejscowych polityków i zaczął otwarcie sprzyjać siłom postępowym, dyskryminując środowiska konserwatywne (których poglądy były bliższe władzom w Londynie). W efekcie w 1866 został odwołany ze stanowiska i odesłany na urzędniczą emeryturę, co spotkało się z niezadowoleniem większości mieszkańców Wiktorii.
Śmierć Po powrocie do Anglii szybko podupadał na zdrowiu. Zmarł w styczniu 1870 roku w wieku 60 lat.