Historia Nieckę w Górach Szantuńskich, w której obecnie znajduje się Xuzhou, wykorzystano po raz pierwszy w II wieku p.n.e., za rządów dynastii Han (206 p.n.e.–220 n.e.). Przeprowadzono nią wówczas kanał, łączący miasto Luoyang (prowincja Henan) z doliną w dolnym odcinku rzeki Huai He. Szlak wodny, znany jako Stary Kanał Bian, zastąpiono w 605 roku Nowym Kanałem Bian (zwanym też Kanałem Tongji), który był dłuższy od starej trasy. Xuzhou aż do XII wieku pozostawało ważnym miastem handlowym i ośrodkiem komunikacyjnym. W tym okresie dla miasta funkcjonowała także nazwa Pengcheng (彭城; Péngchéng), która wzięła się od pobliskiego powiatu utworzonego w 220 roku p.n.e., za panowania dynastii Qin (221–206 p.n.e.). W epoce Tang miasto było mocno ufortyfikowaną twierdzą, która ochraniała główną drogę dowozu zaopatrzenia, jaką był Nowy Kanał Bian, przed atakami na wpół niezależnych zarządców Szantungu i Hebei. Pełniące funkcję bazy strategicznej Xuzhou było w okresie Pięciu Dynastii (907–960) przedmiotem ostrych sporów pomiędzy dynastiami z północnego wschodu i niezależnymi państewkami z południa.