Także Mahler w listach do swojej siostry Justine wyrażał wątpliwości, czy związanie się z tak młodą osobą jest właściwe. Z Drezna wysłał do swej narzeczonej dwudziestostronicowy list, w którym opisywał ich wspólne przyszłe życie.
23 grudnia zaręczyli się, a 9 marca 1902 roku pobrali w Karlskirche w Wiedniu. Ślub był skromny. Oprócz młodej pary obecni byli świadkowie: Carl Moll i Arnold Rosé, szwagier Mahlera.
Lata małżeństwa z Mahlerem 2 listopada 1902 roku przyszła na świat ich pierwsza córka, Maria.
Wychodząc za mąż za Gustava, Alma miała wyrzec się swego zainteresowania komponowaniem i muzyką. Przejęła rolę czułej żony i gorącej zwolenniczki muzyki Gustava. Życie z Mahlerem wyglądało zupełnie inaczej niż życie w jej domu rodzinnym. Mahler unikał towarzystwa i ściśle trzymał się swojego rozkładu dnia. Z dzienników Almy wynika, że była samotna i znudzona, czuła się zdegradowana do roli pani domu. Odczuć tych nie zmieniło również przyjście na świat 15 czerwca 1904 roku drugiej córki, Anny Justyny. W roku 1904 za wiedzą i zgodą Mahlera, który to również finansował, spotykała się Alma regularnie z Zemlinskym na wspólnym muzykowaniu. Nie trwało to jednak długo.
Mahler nie znalazł w Almie towarzyszki swego życia.