Za to zachowanie Liu Yikang zdegradował Fan Ye do stanowiska Wielkiego Administratora (tàishǒu, 太守) Xuanchengu. To podczas pięcioletniego pobytu w tym mieście Fan Ye zgromadził różne historie Późniejszej Dynastii Han, których potem użył by skompilować swoje opus magnum, „Księgę Późniejszych Hanów”.
W roku 437 Fan Ye został przydzielony do Liu Yuxina, który był wówczas regionalnym inspektorem Jiangzhou (w przybliżeniu dzisiejsza prowincja Jiangxi). Z kolei w roku 440 znalazł się przy innym synu cesarza, Liu Junie. Fan Ye objął wówczas namiestnictwo Nan Xiapi, ze stolicą na północny wschód od dzisiejszego Suining w prowincji Jiangsu. W styczniu 441 roku został przeniesiony do prowincji Yang, a ze względu na młodość Liu Juna wszystkie administracyjne obowiązki zostały przydzielone Fan Ye. W roku 444 Fan Ye został mianowany superintendentem domu następcy tronu (tàizǐ zhānshì, 太子詹事) i ze względu na piastowanie tego prestiżowego stanowiska w źródłach jest wymieniany często jako Fan zhanshi. W tym czasie część urzędników pod przywództwem Kong Xixiana zorganizowała spisek mający na celu osadzenie na tronie dawnego protektora Fan Ye, Liu Yikanga. Do grupy tej należał też siostrzeniec Fan Ye Xie Zong i pomimo pewnych oporów ten pierwszy ostatecznie przyłączył się do spiskowców, kierowany m.in. resentymentem w stosunku do cesarza Wena.