Mimo trudności uczelni przedłużono Dittrichowi kontrakt na kolejne trzy lata.
Około 1892 związał się z wykonawczynią muzyki na shamisenie, Mori Kiku, z którą miał nieślubnego syna Otto Moriego. Mori pomagała mu w transpozycji i tłumaczeniu japońskich pieśni, których zbiory ukazały się w 1894 i 1895. Opuścił Japonię w sierpniu 1894 na miesiąc przed wygaśnięciem kontraktu, pozostawiając zapisy zapewniające wsparcie finansowe dla syna, który później został zawodowym skrzypkiem. Wnuk Dittricha, Jun Negami, był aktorem i zmarł w 2005.
Po powrocie do Wiednia występował jako skrzypek. W 1901 mianowano go jednym z trzech organistów dworskich Habsburgów, w której to funkcji zastąpił Antona Brucknera. W 1906 został profesorem Konserwatorium. Przygotował gmach Towarzystwa Muzycznego, gdzie grają Filharmonicy Wiedeńscy, pod koncerty organowe.
10 lipca 1900 poślubił Katharinę Kriegle, z którą miał dwóch synów. W październiku 1916 podczas próby koncertu upadł i od tego czasu nigdy już nie odzyskał pełnej sprawności. Zmarł trzy lata później w Wiedniu.