Naukę Rudolf ukończył 24 czerwca 1877 roku, po czym rozpoczął służbę w armii. Został dowódcą 36 pułku piechoty. Najpierw stacjonował w Pradze, a później w Wiedniu. Funkcje, jakie pełnił w obu miastach, miały jedynie znaczenie reprezentacyjne. Nie był w tym czasie w dobrych stosunkach z cesarzem i wieloma dostojnikami dworskimi. Swojemu przyjacielowi Maurycemu Scheppsowi skarżył się, iż należy do najgorzej poinformowanych ludzi w Austrii.
10 maja 1881 ożenił się z belgijską księżniczką Stefanią Klotyldą, córką Leopolda II. Wesele następcy tronu miało bardzo wystawny charakter. Na początku małżeństwa Rudolf wydawał się być zakochany w swej żonie, jednak po narodzinach ich jedynego dziecka, arcyksiężniczki Elżbiety Marii (21 września 1883), książęca para bezpowrotnie oddaliła się od siebie – co było też spowodowane licznymi chorobami wenerycznymi Rudolfa, których ofiarą padł z powodu swej niewierności. Cierpiący na neurastenię arcyksiążę szukał pociechy w alkoholu, morfinie i towarzystwie prostytutek.