Wkrótce po przekroczeniu granicy, na terenie obecnej prowincji Gansu, Zhang Qian wraz z towarzyszami został pojmany przez żołnierzy Xiongnu i doprowadzony przez oblicze ich władcy. Oskarżeni zostali o szpiegostwo, jednak z nieznanych przyczyn nie zgładzono ich, zatrzymując jedynie pod strażą w obozie Xiongnu.
Zhang Qian i jego towarzysze spędzili w niewoli u Xiongnu dziesięć lat, podczas których ożenili się i mogli dosyć swobodnie się poruszać. W 133 p.n.e. towarzysze Zhang Qiana podjęli nieudaną próbę porwania władcy Xiongnu. Pomimo to więźniów nie ukarano, nie stało się im nic także podczas toczonych wówczas wojen Xiongnu z Chinami.
W 128 p.n.e. Zhang Qiangowi udało się uciec z niewoli i przedostać się na dotychczas nieznane Chińczykom terytorium Yuezhi. Jego poselstwo zostało przyjęte, choć Yuezhi nie zgodzili się na zawarcie sojuszu z Chinami. Po nieudanej misji dyplomatycznej Zhang Qian wyruszył w drogę powrotną, zatrzymując się m.in. w Ferganie, a następnie udał się do Baktrii, skąd próbował przedostać się do Tybetu. Podczas próby dotarcia tam ponownie został pojmany przez Xiongnu.
thumb|right|350px|Kraje opisane przez Zhang Qiana. Kraje, które odwiedził, zaznaczono na niebiesko