Gustav uwielbiał tworzyć muzykę, lecz szkolne postępy w gimnazjum były niewystarczające dla rodziny; oceniany był jako roztargniony i nierzetelny w nauce. W 1871 roku, w nadziei poprawy wyników chłopca, jego ojciec wysłał go do gimnazjum w Pradze. Przez kilka miesięcy przebywał tamże na stancji. Nie był jednak zadowolony z tego pobytu i wkrótce wrócił do Igławy.
13 kwietnia 1875 r. poniósł dużą stratę osobistą, gdyż jego młodszy brat Ernst (urodzony 18 marca 1862 r.) zmarł po długiej chorobie. Mahler starał się wyrazić swoje odczucia w muzyce i z pomocą przyjaciela Josefa Steinera rozpoczął pracę nad operą Herzog Ernst von Schwaben na pamiątkę po swym zmarłym bracie. Nie przetrwała ani muzyka, ani libretto z tego dzieła.
W 1875 zapisał się do wiedeńskiego konserwatorium. Jednocześnie komponował pierwsze młodzieńcze utwory m.in. Sonatę skrzypcową, Kwartet fortepianowy i Preludium symfoniczne. Tworzy również projekty: Symfonii nordyckiej i oper – Die Argonauten oraz Das klagende Lied, z których tylko ten ostatni został doprowadzony do końca.