Dał się tam poznać jako zdolny i energiczny zarządca, dzięki czemu w wieku 29 lat otrzymał propozycję dołączenia do służby kolonialnej, od razu w charakterze szefa administracji jednej z brytyjskich posiadłości zamorskich.
Służba kolonialna Został wysłany na Karaiby, gdzie początkowo kierował aparatem administracyjnym na wyspie Montserrat, na której pracował w randze szefa rady wyspy, zaś w latach 1855–1859, już jako gubernator porucznik (co było drugim najwyższym stopniem w administracji kolonialnej, po „zwykłym” gubernatorze) zarządzał wyspą Saint Kitts. 17 czerwca 1859, mając 34 lata, został najmłodszym w historii gubernatorem Hongkongu. Formalnie objął ten urząd we wrześniu 1859. W tym samym roku otrzymał dożywotni tytuł szlachecki Sir. Dwoma najważniejszymi wydarzeniami jego kadencji było wprowadzenie w Hongkongu pracy kulisów (azjatyckich robotników, którzy formalnie nie byli niewolnikami i dostawali wynagrodzenia, choć niezwykle niskie, jednak w praktyce traktowano ich niemal równie źle jak niewolników) oraz rozszerzenie terytorium kolonii poprzez dodanie do niego większej części półwyspu Koulun.