Do gimnazjum uczęszczał do 11 roku życia, a w 1866 roku cała rodzina przeniosła się do Poczdamu z powodu wybuchu wojny prusko-austriackiej. Przez Racibórz przechodziło dużo transportów z rannymi żołnierzami i istniała duża możliwość wybuchu zarazy. Po wojnie jednak powrócili do Raciborza, a ojciec zmarł zaraziwszy się cholerą. Wtedy matka wraz z czwórką dzieci wyjechała do Gdańska, a po paru latach przeniosła się do Berlina, gdzie pomogła im ich bliska rodzina – siostra matki Emma Cauer i kuzyn ojca, berliński bankier Aleksander Mendelssohn, który sprawnie zarządzał majątkiem rodziny.
Młodość Mendelssohn rozpoczął w 1877 r. studia na uniwersytecie w Tybindze, studiował przez rok prawo, ale doszedł do wniosku, że to nie prawo jest jego życiową pasją i powołaniem, a muzyka. Przeniósł się do berlińskiego Instytutu Muzyki Kościelnej, gdzie studiował pod kierunkiem m.in. Haupta, Grella, Wilsinga, Tauberta i Löschorna.