W wieku dziewięciu lat, 9 grudnia 1687 roku, został koronowany na króla Węgier; a w wieku jedenastu lat, 23 stycznia 1690 roku, na króla Rzymian.
Polityka W toku wojny między Habsburgami, Polską i Wenecją a Turkami, w 1687 r. w Preszburgu sejm węgierski przyznał Habsburgom dziedziczne prawo do korony węgierskiej. Cesarz Leopold I wyznaczył wtedy do roli monarchy węgierskiego swojego syna, Józefa, który został koronowany w Budapeszcie. To dodatkowo gwarantowało sukcesję habsburską na tronie wiedeńskim.
23 stycznia 1690 roku w Augsburgu, jeszcze za życia ojca, Józef został wybrany na króla rzymskiego (niemieckiego), a tytuł cesarski przyjął po śmierci Leopolda w 1705 r. W 1708 r. potwierdził przyznanie książętom Hanoweru z rodu Welfów godności elektorów Rzeszy. W tym samym roku formalnie przywrócono prawo głosu w kolegium elektorskim królom czeskim (czyli samym Habsburgom), które zostało zawieszone w czasie powstania w Czechach (1618–1621). W 1705 roku zaczęły się kłopoty na Węgrzech, gdzie miejscowy magnat Franciszek II Rakoczy ogłosił się księciem najpierw Siedmiogrodu, a potem całych Węgier. W 1707 r. Józef został zdetronizowany przez Sejm węgierski obradujący w Ónod, jednak w 1708 r.