Od siódmego roku życia pobierał naukę gry na skrzypcach w Dreźnie i Pradze. Po osiedleniu w Warszawie kontynuował naukę gry na skrzypcach u Jana Jakowskiego, a w latach 1889–95 był uczniem Stanisława Barcewicza, równocześnie studiując harmonię u Zygmunta Noskowskiego i Piotra Maszyńskiego, następnie zaś kontrapunkt i formy muzyczne u Gustawa Roguskiego; w tych latach zaczął także komponować, z przełomu 1893/94 pochodzi pierwszy zachowany utwór Karłowicza Chant de mai na fortepian. Obok nauki gry i kompozycji Karłowicz studiował na Cesarskim Uniwersytecie Warszawskim nauki przyrodnicze.
We wrześniu 1895 wyjechał do Berlina z zamiarem studiowania gry na skrzypcach pod kierunkiem Josepha Joachima. Nie dostawszy się do jego klasy w Hochschule für Musik, uczył się prywatnie u Floriána Zajíca, postanowił jednak poświęcić się kompozycji i podjął studia u Heinricha Urbana. Równocześnie uczęszczał na wykłady z historii muzyki, historii filozofii, psychologii, fizyki na wydziale filozoficznym uniwersytetu w Berlinie.