Powstanie tajpingów thumb|Szturm na Anqing podczas wojny z tajpingami W 1854, gdy tajpingowie zagrażali miastu, namówił gubernatora, by jego bandę uznać za oddział lokalnej milicji. Rozbudował ją następnie, tworząc silny korpus, który przez siedem lat skutecznie chronił Hefei, aż do ostatecznego odparcia inwazji w 1861.
Następnie wziął udział w kampanii przeciw Chen Yuchengowi; osiągnąwszy rangę majora, został w 1862 zauważony przez Li Hongzhanga, który skłonił go do wstąpienia wraz ze swym oddziałem do Armii Huai. W tym czasie docenił nowoczesne uzbrojenie zachodnie, w które starał się wyposażyć swoje wojska; używał też zachodniej artylerii i zatrudniał instruktorów-obcokrajowców.
Po pobiciu tajpingów na południowy wschód od Szanghaju, wziął twierdzę Jinshan; w następnym roku uderzył drogą wodną na Fushan i wziął udział w szturmie Yangshe. W 1864, w czasie ofensywy na Suzhou ścigał innego wodza tajpingów, Li Xiuchenga, do Nankinu. W nagrodę za opanowanie Jiangsu otrzymał rangę głównodowodzącego w prowincji Zhili, choć był niewykształcony i miał tylko 29 lat.