W XVI wieku zamek powoli zaczął chylić się ku upadkowi i nawet na kilkadziesiąt lat trafił w posiadanie miasta. Sytuacja taka trwała do momentu, gdy (1618–1620) ostatecznie poniosło klęskę w bitwie na Białej Górze. Cesarz Ferdynand II Habsburg skonfiskował zamek i równocześnie z odzyskaniem znaczenia militarnego w ogólnoeuropejskiej wojnie trzydziestoletniej (1618–1648) rozpoczął się więzienny okres w historii budowli. Szwedzkie działania wojenne na Morawach i udana obrona miasta przez komendanta Louisa Raduit de Souches w latach 1643 i 1645 sprawiły, że Brno wraz z twierdzą zostały nowocześnie ufortyfikowane – powstała forteca, która tworzyła jeden zespół z fortyfikacjami miasta. To z kolei pozwoliło odeprzeć Austriakom wojska pruskie w 1742. W późniejszym okresie forteca straciła znaczenie militarne i do 1853 pełniła rolę ciężkiego więzienia, w którym trzymano więźniów politycznych wielu narodowości. Pogłębił ten stan fakt, że w 1809 armia napoleońska zburzyła podstawowe elementy umocnień twierdzy. Z drugiej strony szybki rozwój artylerii i tak odebrałby jej obronie jakiekolwiek szanse powodzenia. XIX wiek przyniósł wyburzenie większości umocnień wzgórza, a w 2.