Jörg Kölderer namalował na wieży 56 herbów rzeczywistych i uroszczonych posiadłości cesarza. Sala balowa nazywana Salą Olbrzymów (lub Gigantów) () została wówczas pokryta malowidłami, które przedstawiały m.in. Herkulesa (stąd nazwa). Zamek nawiedził pożar w 1534 roku, po tym zdarzeniu przebudowano go w stylu renesansowym pomiędzy 1534 a 1540 rokiem za panowania cesarza Ferdynanda I Habsburga według projektu Luciusa de Spaciisa. Powstało w tym czasie skrzydło północne i zachodnie; północną część zamku budowano w latach 1533–1568.

W 1578 roku wzniesiono przy pałacu w kościele Srebrną Kaplicę przeznaczoną na mauzoleum arcyksięcia Ferdynanda II Habsburga i jego żony . Po śmierci Ferdynanda II zamek podupadł i w 1636 roku zdarzył się kolejny pożar rezydencji. Wraz ze śmiercią wygasła tyrolska linia Habsburgów, co skutkowało przeniesieniem rządu Tyrolu do Wiednia. W zamku od tego czasu rezydowali namiestnicy i gubernatorzy oraz dwór cesarski podczas swoich podróży.

Cesarzowa Maria Teresa Habsburg podjęła się rozbudowy Hofburga (przebiegła ona w dwóch etapach od 1754 roku;