Po rewolucji Xinhai wrócił na stałe do Chin. Ponieważ pozostawał skłócony z Sun Jat-senem, Yuan Shikai zaproponował mu stanowisko swojego doradcy. Zhang propozycję jednak odrzucił i wystąpił przeciwko dyktatorskim zapędom Yuana, nagłaśniając m.in. sprawę zabójstwa Song Jiaorena, za co w 1913 roku został umieszczony w areszcie domowym. Zwolniony po śmierci Yuana w 1916 roku, wyjechał do Kantonu, gdzie współpracował z utworzonym przez Sun Jat-sena opozycyjnym rządem. Po śmierci Suna stanął w opozycji do Czang Kaj-szeka i w 1924 roku wystąpił z Kuomintangu. Poświęcił się pracy naukowej i redagowaniu periodyku Zhiyan (制言). Był przeciwnikiem prowadzonej przez Czanga wojny domowej z komunistami, nawołując do jedności i utworzenia jednolitego frontu przeciwko japońskiej agresji.

Pochowano go nad brzegiem Jeziora Zachodniego w Hangzhou.

Zhang opowiadał się za kultywowaniem i obroną chińskich tradycji kulturalnych, jego pisma i twórczość poetycka utrzymane były w klasycznym stylu. Sprzeciwiał się uczynieniu z potocznego języka baihua standardu literackiego, wobec czego wystąpił zdecydowanie przeciwko Ruchowi Nowej Kultury.