Po dwóch latach takiej działalności, która zagrożona była karą śmierci, zrezygnował z niej i ponownie zamieszkał w Nowym Jorku. Początkowo utrzymywał się z kradzieży kieszonkowych, z czasem założył gang rabunkowy, jednak został aresztowany po napadzie na furgon banku Adam Express. Skazano go na trzy lata więzienia w Sing Sing. Jednak już po kilku tygodniach uciekł i znalazł się pod wpływem Fredericki Mandelbaum, właścicielki sklepu wielobranżowego i największej paserki na terenie Nowego Jorku. Mandelbaum opiekowała się licznymi spośród bezdomnych dzieci, a najzdolniejsze z nich uczyła kraść, dzięki czemu dorobiła się znaczącego majątku.
W 1869 r. wraz z Maximilianem Schoenbeinem przeprowadził akcję odbicia z więzienia kasiarza i pianisty Charlesa Bullarda za pomocą podkopu. Od tego czasu zaprzyjaźnił się i współpracował z Bullardem, wspólnie zrabowali 1 mln dolarów w Boylston Bank w Bostonie. Zagrożeni pojmaniem i śmiercią z rąk detektywów z Agencji Pinkertona, wyjechali do Europy, dokąd wcześniej wytransferowali część zrabowanych pieniędzy. Tam obaj przyjęli fałszywe tożsamości, przy czym Worth podawał się za bankiera Henry’ego J. Raymonda – imię i nazwisko było identyczne jako założyciela New York Times. Przez kilka lat wraz z Bullardem żył w trójkącie z barmanką Kitty Flynn, która urodziła im dwie córki.