Huo Guang zachował swoją władzę nawet po dojściu Zhaodi do pełnoletniości w 77 p.n.e; .
Epizod cesarza Liu He Zhaodi zmarł niespodziewanie w 74 p.n.e. i przed Huo Guangiem stanęła konieczność wyboru jego następcy. Jedyny obecnie żyjący syn Wudi, Liu Xu, został ponownie pominięty. Miał on w międzyczasie próbować doprowadzić do śmierci Zhaodi za pomocą czarów, jednak wydaje się możliwe, iż rzeczywistym powodem decyzji Huo Guanga była jego niechęć do idei posiadania dorosłego cesarza, którym nie można by manipulować. W rezultacie do objęcia tronu został zaproszony Liu He (74 p.n.e.), wnuk Wudi, który miał wówczas 18 lat. Jego niewłaściwe lub nawet lubieżne zachowanie szybko zaalarmowało Huo Guanga, który wsparty przez innych wyższych urzędników zaaranżował jego usunięcie z tronu. W obecności 15 letniej cesarzowej wdowy Shangguan – wnuczki Huo Guanga oraz ministrów, odczytano memoriał złożony w imieniu kanclerza (Chengxiang, 丞相) Yang Changa, Huo Guanga, Cesarskiego Doradcy, siedmiu z dziewięciu ministrów stanu, siedmiu innych wyższych urzędników i jedenastu młodszych oraz czterech generałów i czterech arystokratów. W memoriale oskarżono Liu He m.in.