Dokonał konwersji na buddyzm, przyjmując imię Tei-Shin. Przyczynił się do połowania w 1888 roku Tokijskiej Szkoły Sztuk Pięknych (Tōkyō Bijutsu Gakkō) oraz Muzeum Cesarskiego, którego został pierwszym dyrektorem.
Po powrocie do Bostonu w 1890 roku został dyrektorem departamentu sztuki dalekowschodniej w Museum of Fine Arts, przekazując na jego rzecz swoją przywiezioną z Japonii kolekcję ponad 1000 obrazów. Zorganizował wystawę sztuki japońskiej na World’s Columbian Exposition w Chicago w 1893 roku. W 1895 roku rozwiódł się z żoną i poślubił pisarkę Mary McNeill Scott, wywołując tym skandal obyczajowy, na skutek którego rok później został zwolniony z Museum of Fine Arts. W latach 1897–1900 ponownie przebywał w Japonii, gdzie wykładał literaturę angielską w Wyższej Szkole Pedagogicznej w Tokio (Tōkyō Shihan Gakkō). Wróciwszy do Stanów Zjednoczonych zajął się pisaniem prac poświęconych sztuce dalekowschodniej. Zmarł w Londynie w trakcie kolejnej podróży na Daleki Wschód, jego prochy zostały sprowadzone do Japonii i pochowane w świątyni Mii-dera.