W pożarze w 1725 r. spłonął główny budynek, a poboczne doznały licznych uszkodzeń. Dopiero za czasów jedenastego sioguna Ienari Tokugawy (1773–1841) ogród powrócił do swojej pierwotnej świetności. Ienari uprawiał tu sokolnictwo, a jego żona, która przybyła raz w 1826 roku, cieszyła się łowieniem ryb w stawie.
W oparciu o upodobania i kaprysy siogunów, posiadłość była wykorzystywana również do uprawy różnych roślin ogrodowych, jazdy konnej, ćwiczeń wojskowych, badań naukowych i rozwijania rzemiosł, jak garncarstwo i tkactwo.
Pod koniec okresu siogunatu na terenie ogrodów rozpoczęto budowę ośrodka szkolenia marynarki wojennej, ale nie zdołano go ukończyć w wyniku upadku siogunatu i generalnej reformy państwa w postaci restauracji Meiji. W 1869 roku budynek przejęło Ministerstwo Spraw Zagranicznych, które ukończyło budowlę, tworząc pierwszą w Japonii rezydencję dla prominentnych gości zagranicznych o nazwie Enryōkan (zlikwidowany w 1889 r.)Enryōkan → jego rolę jako rezydencji dla gości państwowych przejął Rokumeikan, znacznie większy, dwupiętrowy budynek ukończony w 1883 roku (już nie istnieje), usytuowany blisko miejsca, gdzie dziś znajduje się park Hibiya. Obecnie rolę rezydencji dla gości zagranicznych pełni Pałac Akasaka Geihinkan..