Jednak infamia ciągnie się za Jimem. Wstydzi się swojego czynu i zawsze, gdy słyszy opowieść o Patnie, ogarnia go złość i podąża w inne miejsce. Marlow, zatroskany o Jima, postanawia go wysłać w głąb lądu, do Patusanu. Jest to kraj na wyspie, poza cywilizacją, zamieszkany przez miejscowych. Jim udaje się tam i zaczyna nowe życie. Symboliczne jest przyjęcie nowego imienia - nazywa się Tuan Jim, czyli Lord Jim. Patusan jest ogarnięty wewnętrznymi sporami. Jim, chcąc odzyskać swój utracony honor, postanawia zaprowadzić tam pokój. Udaje mu się to. Nie zapominając o swoim haniebnym czynie, stara się odkupić winy.
Niestety, los Jimowi nie sprzyjał. Gdy na dobre osadził się w Patusanie, wiążąc z nim przyszłość, poznawszy kobietę, którą pokochał, do Patusanu przybyła grupa piratów, pragnących ograbić miasto. Dowodzi nimi Brown - człowiek będący przeciwieństwem Jima - bez honoru, ale i bez świadomości, że honor winno się mieć. Atakując Patusan, banda zostaje jednak uwięziona w zatoczce. Jim nie chce rozlewu krwi, więc zmusza Radę Patusanu, by puścić Browna i jego ludzi wolno. Tak też się staje. Niestety, w wyniku zdrady jednego człowieka, któremu nie podobały się rządy Jima, Brown ze swoimi ludźmi atakuje oddział syna przywódcy Patusanu, czatujący u ujścia rzeki. Syn przywódcy ginie.