Jednak w zapiskach Lewisa istnieje przerwa od 18 września do 11 listopada, a więc w rzeczywistości nie wiadomo kiedy Colter (podobnie jak kilku innych uczestników) został przyjęty.
Z Lewisem i Clarkiem Wobec luki w zapiskach Lewisa należy sięgnąć po zapiski świadka nieco późniejszych wydarzeń, Thomasa Jamesa, który poznał Coltera w roku 1809, a opisał go tak:
Colter, tak jak George Shannon i Patrick Gass, dołączył do uczestników wyprawy w Pittsburghu. Meriwether Lewis i William Clark zajmowali się w tym czasie przygotowywaniem zaopatrzenia wyprawy, sprawy formalne zostawiając sierżantowi Johnowi Ordwayowi. Jednak nowo zaciągnięci nie chcieli słuchać rozkazów Ordwaya, co spowodowało, że Lewis po powrocie skazał Coltera i innych na 10-dniowy zakaz opuszczania obozu. Colter ponadto został oskarżony o próbę zastrzelenia sierżanta. Dopiero gdy Colter przeprosił i obiecał poprawę dowódca ekspedycji odstąpił od zastosowania surowszej kary.
W czasie wyprawy Colter został uznany za jednego z najlepszych myśliwych w grupie, w związku z czym był najczęściej wysyłany samotnie na zwiady i polowanie.