Kolonia brytyjska mały|left|Drewniany dom mały|left|Szkoła 30 listopada 1838 Pitcairn przeszła pod jurysdykcję brytyjską. W połowie XIX wieku liczba mieszkańców Pitcairn dochodziła do dwustu osób, co groziło przeludnieniem. Wykorzystując pomoc rządu brytyjskiego, mieszkańcom zaoferowano przesiedlenie na niedawno zlikwidowaną kolonię karną na wyspie Norfolk. 3 maja w 1856 całość populacji Pitcairn w liczbie 196 mieszkańców wypłynęła w 5-tygodniową podróż na Norfolk, jednakże po 18 miesiącach część byłych mieszkańców, kierując się głównie sentymentem, postanowiła powrócić na Pitcairn. W ciągu kolejnych 5 lat dołączyło do niej następnych 27 osób. Odtworzona niewielka społeczność Pitcairn weszła w okres pogłębiającej się izolacji. Pomimo wielu trudności liczba mieszkańców osiągnęła w 1881 96 osób. Niewielkie ilości narzędzi, ubrań oraz innych niezbędnych do funkcjonowania wyspiarzy przedmiotów trafiały na wyspę dzięki nielicznym statkom cumującym przy wyspie w celu uzupełnienia wody lub pożywienia. W 1886 amerykański kaznodzieja John Tay w ciągu kilku miesięcy przekonał wszystkich mieszkańców Pitcairn do przejścia na adwentyzm.