Worth kupił także jacht parowy, którym podróżował, by ze wspólnikami rabować banki w portowych miastach Ameryki Południowej i Indii Zachodnich, m.in. w stolicy Jamajki – Kingston – dokonali włamań do kilku banków w ciągu paru godzin, a ucieczkę zapewniła im przewaga szybkości jachtu nad brytyjskimi kanonierkami. Ostatnim punktem na trasie wyprawy był napad w Kapsztadzie, podczas którego ukradziono nieoszlifowane diamenty o wartości pół miliona funtów, dzięki czemu po powrocie do Londynu Worth założył firmę handlu brylantami, sprzedającą je po dumpingowych cenach. W latach 80. pod nazwiskiem Henry’ego Raymonda poślubił Louise Margaret Bolzhan, z którą miał syna Henry’ego i córkę Beatrice. Żona długo nie znała prawdziwej tożsamości ani profesji męża. Gdy jego brat John został aresztowany w Paryżu, dokąd udał się spieniężyć podrobione czeki, Worth przeznaczył duże środki na wykupienie go z brytyjskiego więzienia, do którego trafił po deportacji.