„Wraz ze śmiercią Wudi cała władza spoczęła w rękach Huo Guanga”.
Panowanie Zhaodi Od początku stosunki Huo Guanga ze swoimi pozostałymi partnerami nie były łatwe. Jin Midi zmarł w 86 p.n.e. i Huo Guang zbliżył się do Shangguan Jie, wydając za jego syna Shangguan Ana swoją starszą córkę. Córka z tego małżeństwa, będąc w wieku zbliżonym do cesarza, została wprowadzona do pałacu i stała się towarzyszką jego zabaw, a w 83 p.n.e. cesarzową. Mimo to wkrótce Shangguan Jie wraz z Sang Hongyangiem porozumieli się co do obalenia Huo Guanga ze starszym synem Wudi, Liu Danem, który uważał, że ma większe prawa do tronu cesarskiego niż Zhaodi. Liu Dan już w 86 p.n.e. chciał zdobyć tron siłą i po wykryciu spisku ocalił życie jedynie zrzucając winę na jednego ze swoich krewnych. W 80 p.n.e. Liu Dan przedstawił memoriał, w którym oskarżał Huo Guanga o prowadzenie niewłaściwego stylu życia, mianowanie niegodnych tego urzędników oraz monopolizowanie władzy. Ku zaskoczeniu całego dworu czternastoletni Zhaodi zorientował się w intencjach Liu Dana i odmówił uznania jakiejkolwiek nielojalności Huo Guanga. W odpowiedzi spiskowcy przedsięwzięli plan zabicia go, został on jednak wykryty, a oni sami zabici lub zmuszeni do samobójstwa.