Zrozumiał, że musi pokonać samotnego przeciwnika:

Colter, który zabrał zabitemu koc i ułomek oszczepu, ciągle ścigany dotarł po ośmiokilometrowej gonitwie nad brzeg rzeki Madison, skoczył ze skarpy i ukrył się wewnątrz pobliskiego bobrowego żeremia. Indianie szukali go do wieczora, w końcu jednak oddalili się. Przeczekał w kryjówce do rana, po czym ruszył w stronę pobliskich gór. Nie chcąc ryzykować wędrówki przez przełęcz, która mogła być obserwowana przez Czarne Stopy, pokonał wspinaczką strome pasmo, po czym ruszył prerią w kierunku Fortu Manuela nad brzegiem rzeki Little Bighorn. Podczas wędrówki, która trwała 11 dni, żywił się korzonkami i trawą.

W roku 1810 Colter brał udział w budowie kolejnego fortu w Three Forks. Pewnego dnia, gdy wrócił z polowania i zbierania skór złowionych w sidła zwierząt, dowiedział się, że dwaj jego towarzysze zostali zabici przez Czarne Stopy. To wydarzenie przekonało Coltera, że należy opuścić pogranicze i wrócić do cywilizacji. W Saint Louis pojawił się wiosną 1810.