W czasie odzyskiwania „Czarnej Perły” pojawiła się panna Elizabeth Swann, która z murów miasta Port Royal spadła do wody i zaczęła tonąć. Jack, widząc to, wskoczył do wody i uratował ją. Niewdzięczny komodor James Norrington po odkryciu, że Jack jest piratem, kazał go aresztować. Sparrow, zakuty w kajdanki, złapał Elizabeth i blefując, że ją udusi, zmusił Norringtona, aby mu oddał pas z bronią. Po czym wypuścił pannę Swann i zaczął uciekać. Przypadkiem trafił do kuźni, gdzie rozbił swoje kajdanki. Tam musiał stoczyć pojedynek na szable z kowalskim terminatorem, Willem Turnerem. W końcu kowal, nauczyciel Willa, ogłuszył go butelką. Jack został złapany i osadzony w więzieniu. W nocy „Czarna Perła” zaatakowała Port Royal. Dawni kompani Sparrowa jednak nie mieli najmniejszego zamiaru go uwolnić. Jedynie obrabowali miasto, porwali Elizabeth z jej azteckim medalionem i odpłynęli.