Po klęsce w starciach z siłami rządowymi w 1932 roku Xu i Zhang przenieśli się do północnego Syczuanu. W trakcie Długiego Marszu obydwaj nie przyłączyli się do grupy Mao Zedonga i Zhu De, samodzielnie usiłując przebić się na północ alternatywną drogą przez Xikang. W trakcie tej wędrówki stracili większość ludzi w starciach z lokalnymi oddziałami muzułmańskimi.
Po ostatecznym dotarciu do bazy w Shaanxi w połowie 1937 roku resztki jego oddziałów zostały wcielone do wojsk Liu Bochenga i oddelegowane na front do walki z Japończykami. Wiosną 1939 roku Xu wysłano do Szantungu, w którym miał zorganizować partyzantkę antyjapońską. Z powodu słabego zdrowia w 1941 roku wrócił jednak do Yan’anu i przebywał tam do 1946 roku, z dala od linii frontu.
Po wznowieniu w 1946 roku chińskiej wojny domowej dowodził oddziałami walczącymi na terenie Shanxi. W kwietniu 1949 roku rozbił przeważające liczebnie siły Yan Xishana i zajął Taiyuan. Po utworzeniu Chińskiej Republiki Ludowej został członkiem sztabu generalnego armii, ale ze względu na problemy zdrowotne nie brał aktywnego udziału w życiu publicznym. W 1955 roku został mianowany jednym z dziesięciu marszałków ChRL.