Ale za przejęcie przeklętego skarbu Barbossa i jego załoga stali się upiorami pozbawionymi możliwości normalnego życia.

Pościg za Barbossą (Piraci z Karaibów: Klątwa Czarnej Perły) Jack nie chciał rezygnować z posiadania „Czarnej Perły”. Na bezludnej wyspie miał do dyspozycji jedynie szablę i pistolet z jedną kulą, z której mógł skorzystać, ale zachował ją dla Barbossy. Spędził na wyspie tylko trzy dni. Uciekł z niej „cudownym” sposobem, tzn. został zabrany przez przemytników rumu. Następnie zawarł znajomość z Tią Dalmą, od której (według wersji ze „Skrzyni Umarlaka”) Jack otrzymał swój magiczny kompas, a pewnie też z nią romansował. Wdał się też w liczne flirty i przypadkowe romanse, m.in. z Angeliką Teach oraz Anamarią. Ten ostatni skończył się tym, że Jack „pożyczył sobie” na dłużej statek swojej kochanki i nie zdołał go zwrócić, czego ona mu nie darowała.