W 1917 roku Sun Jat-sen przeniósł się ze swoimi zwolennikami do Guangzhou, Czang dołączył do niego w 1918 r. Jednak Sun Jat-sen, pozbawiony broni i pieniędzy, został wkrótce stamtąd wyparty i musiał się schronić w Szanghaju. W tym czasie doszło też do pewnego napięcia w stosunkach pomiędzy Sun Jat-senem a gubernatorem prowincji Guangdong Chen Jiongmingiem, który próbował wdrożyć system federalny na tym terenie, co stało w sprzeczności z dążeniami Kuomintangu do wojskowego zunifikowania Chin. 16 czerwca 1923 roku Chen podjął próbę usunięcia Suna z Guangzhou i ostrzelał jego siedzibę. Czang Kaj-szek popisał się wtedy swoim brawurowym dowodzeniem, bo dzięki wsparciu jego kanonierek udało się uratować Sun Jat-sena. To zyskało Czangowi jego wdzięczność.
Sun odzyskał kontrolę nad Guangzhou na początku 1924 roku, przyjął także pomoc komunistów – wtedy jeszcze ruchu o małym znaczeniu w Chinach. Przedsięwziął także reformę, polegającą na zreorganizowaniu Kuomintangu i ustanowieniu rządu, który miał objąć zwierzchnictwo nad całymi Chinami przy poparciu ramienia zbrojnego tej partii. W tym samym roku Sun wysłał Czang Kaj-szeka na trzy miesiące do Moskwy w celu obserwowania radzieckiego systemu politycznego i wojskowego. Spotkał się m.in.