Liu Qin zmarł w 4 i Liu Xiu znalazł się pod opieką jego młodszego brata, Liu Lianga, który był urzędnikiem w powiecie Xiao w księstwie (wang) Pei (na północny zachód od dzisiejszego powiatu Xiao w Anhui). To tam Liu Xiu miał uczęszczać do szkoły. W wieku 15 lat został wysłany do stołecznego Chang’anu (dzis. Xi’an), gdzie miał spędzić pięć lat na studiowaniu konfucjańskich klasyków. Nawet jego oficjalna biografia przyznaje, że zapoznał się jedynie z ogólnymi ideami klasyków. W rzeczywistości „był jedynie młodym człowiekiem poznającym salony wielkiego miasta”.

Liu Xiu powrócił do rodzinnej posiadłości w dystrykcie (鄉, xiāng) Chongling w powiecie Caiyang (dzis. Zaoyang), ponownie pojawił się jednak w Chang’anie w 21 w sprawie podatkowej swojego dalekiego kuzyna Liu Changa, dawnego markiza Chongling. Wkrótce jednak musiał usunąć się z miasta ponieważ jego starszy brat, Liu Yan, zebrał grupę zwolenników i zamierzając zbuntować się przeciwko Wang Mangowi zaczął uprawiać rozbój. Aby uniknąć kłopotów ze względu na pokrewieństwo z przestępcą na początku 22 Liu Xiu udał się do swojego szwagra Deng Chena, zamieszkującego w Xinye (dzis. część Nanyangu). Został na krótki czas aresztowany, ale później uwolniono go dzięki lokalnym wpływom i przyjaźni z miejscowym urzędnikiem Pan Linem.