3 lipca 1832 papież Grzegorz XVI skierował go do Australii, zwanej wówczas Nową Holandią, gdzie miał stanąć na czele nowo erygowanego wikariatu apostolskiego Nowej Holandii i Ziemi van Diemena. Ze względu na złożoną sytuację kolonialną nominację tę przyjął dopiero w 1834 (wcześniej odrzucał nominacje na Mauritius i do Madrasu). Sakrę biskupią otrzymał 2 tygodnie później – 29 czerwca 1834 roku z rąk biskupa Jamesa Yorke Bramstona wikariusza apostolskiego Dystryktu Londyńskiego w jego prywatnej kaplicy, otrzymując stolicę tytularną Hierocaesarea.
Polding przybył do Australii 6 sierpnia 1835, najpierw do Hobart, a następnie 13 września tego samego roku dotarł do Sydney. W swojej działalności duszpasterskiej podróżował po całej Australii i był postrzegany jako osoba bardzo pracowita. W 1839 w jednej z katolickich gazet napisano o nim, że jest „nieustannie pracujący, nieograniczenie gorliwy oraz traktowany zarówno przez protestantów, jak i katolików niemalże jak święty”. Starając się o pozyskanie nowych kapłanów w 1840 udał się z podróżą ad limina do Rzymu.