Jednakże pod koniec I wieku Chińczycy utracili kontrolę nad miastem na rzecz Xiongnu i odzyskali ją ponownie dopiero w 119 roku, kiedy chińska armia, składająca się z około tysiąca żołnierzy, przemaszerowała z miasta Dunhuang i opanowała Hami, tworząc tam garnizon. Sąsiedni władcy, w tym król Turfanu, miasta-państwa leżącego na północy, zaoferowali swoje posłuszeństwo względem chińskiego cesarza, jednak wkrótce potem plemiona koczownicze zaatakowały i zniszczyły garnizon Yiwu. Garnizon odbudowano, ale w 151 roku został najechany przez plemię Huyan Xiongnu z Barkolu; dzięki dużym staraniom chińskich żołnierzy udało się go obronić.
Kilka lat później Xiongnu zostali zneutralizowani przez inne plemię i nastąpił okres pokoju. Hami stało się ważnym miastem na jedwabnym szlaku. Nawet po upadku dynastii Han poszczególne plemiona koczownicze były zbyt zajęte walką pomiędzy sobą, aby próbować podbić miasta i oazy na szlakach handlowych. W tym czasie pojawiły się nowe mocarstwa, szukające możliwości przejęcia kontroli nad strategicznym miastem Hami. W 456 roku Tuoba, jedno z plemion Xianbei, które założyło Północną Dynastię Wei (386–535) i zjednoczyło północne Chiny, zajęło Hami, skąd dwa lata później rozpoczęło najazd na lud Rouran, który wcześniej zaatakował terytorium Tuoba.