Gdy siogunat Tokugawa dobiegł końca i rozpoczął się okres Meiji (1868–1912), pojawił się ruch antybuddyjski (haibutsu-kishaku). W 1873 jego aktywiści podpalili świątynię i w procesie odbudowy w późniejszych latach (główny pawilon odtworzono w 1921) obszar świątyni został znacznie zredukowany i przekształcony w park publiczny. Podczas amerykańskich nalotów bombowych w 1945 zostały zniszczone wszystkie budynki z wyjątkiem głównej bramy Sangedatsu-mon z 1622. W latach 1961–1974 odbudowano główny pawilon, a w latach 1989–2000 większość pozostałych budynków. W 2010 zrekonstruowano mauzoleum Ankoku-den.
Sangedatsu-mon Jest to główna brama świątyni (niegdyś wewnętrzna). Każdy, kto przechodzi przez nią, jest oczyszczany z trzech dolegliwości: chciwości, gniewu (nienawiści), ignorancji (głupoty). Brama została zbudowana w 1622 roku i jest jedynym zachowanym oryginalnym budynkiem świątynnym. Jest to jedna z najstarszych drewnianych konstrukcji w Tokio i ważny zabytek kultury.