Już w czasie podróży do Australii został wraz ze Skirvingiem bezpodstawnie oskarżony o przygotowywanie buntu i obu „konspiratorów” uwięziono pod pokładem (ale w osobnej kabinie), gdzie przebywali przez pozostałą część rejsu.
Pobyt w Australii Przybywszy do Sydney, Palmer był traktowany jako wolny osadnik, pozwolono mu na zakup ziemi i swobodne poruszanie się po całej kolonii. W listach do Anglii Palmer entuzjastycznie opisywał Nową Południową Walię mówiąc o wspaniałym klimacie, żyznej i bogatej w minerały ziemi. Negatywnie oceniał skorumpowany New South Wales Corps, nadużywanie władzy przez gubernatora i oficerów korpusu oraz traktowanie Aborygenów.
Wraz ze swoim służącym i przyjacielem Jamesem Ellisem i innym wolnym osadnikiem Johnem Bostonem założyli spółkę Boston & Co. zajmującą się sprzedażą i transportem różnego rodzaju towarów. Palmer posiadał jedyny w całej kolonii egzemplarz Encyklopedii Britannica. Przy jej pomocy zbudowali najpierw niewielką łódź, a kiedy ta zatonęła, większy, 30-tonowy statek „Martha”, który pozwalał na podróże pomiędzy Sydney a Norfolk. Encyklopedia okazała się także przydatna przy produkcji takich deficytowych wówczas w kolonii produktów jak piwo, wino czy mydło.