thumb|240px|Mapa Kōkyo, cesarskiego kompleksu pałacowego i ogrodów (Agencja na czerwono w centrum, obok głównego Pałacu Cesarskiego (Kyūden) – agencja rządu Japonii odpowiedzialna za sprawy państwowe dotyczące rodziny cesarskiej.

Historia Początków tego rodzaju instytucji można doszukiwać się w zapisach kodeksu Taihō (Taihō-ritsuryō) z 701 roku w okresie panowania cesarza Mommu (683–707) dotyczących struktury rządowej.

W 1889 roku wraz z ogłoszeniem pierwszej konstytucji uchwalono „Ustawę o Domu Cesarskim”. Pierwszy dokument ustanowił monarchię konstytucyjną, drugi dotyczył spraw wewnętrznych Domu Cesarskiego (皇室 Kōshitsu Dom, Rodzina Cesarska). Na tej podstawie ustanowiono zasadę, że o swoich sprawach będzie decydował sam Dom bez procedur w parlamencie, a wewnętrznymi sprawami dworu będzie zajmować się Ministerstwo Dworu Cesarskiego (宮内省 Kunai-shō, Imperial Household Ministry), niezależne od rządu. Zasadę te potwierdzono w „Rozkazie cesarskim” z 1908 roku.

W dniu 3 maja 1947 roku, kiedy Konstytucja Shōwa weszła w życie, Ministerstwo Dworu Cesarskiego stało się Biurem Dworu Cesarskiego (Imperial Household Office, 宮内府 Kunai-fu) i podlegało premierowi Japonii.