Marines, którzy mieli pilnować i poganiać do roboty skazańców, woleli się upijać, a ich dowódca, major Robert Ross, doprowadzał Phillipa do rozpaczy swą arogancją i lenistwem. Sam Phillip obawiał się, że nieopierzona kolonia może paść ofiarą aborygenów lub zamorskich mocarstw.
21 stycznia Phillip z grupą towarzyszy opuścił Zatokę w trzech małych łodziach, by zbadać wybrzeże położone dalej na północ. Wkrótce zorientowali się, że zatoka Port Jackson, a która oddalona była od Zatoki Botanicznej o około 12 kilometrów, jest wymarzonym miejscem dla kolonii z dobrze osłoniętym kotwicowiskiem, wodą pitną i żyzną ziemią. Cook widział i nazwał tę zatokę, ale nie wpłynął do niej. Wrażenia po odwiedzeniu Port Jackson Phillip zawarł w liście do Londynu: „Najwspanialsza zatoka na świecie, gdzie tysiąc liniowców może przebywać w stanie całkowitego bezpieczeństwa...”.