połowie tego stulecia podjęto decyzję o splantowaniu fortyfikacji.
Twierdza była zajęta podczas II wojny przez oddziały niemieckie, które w jej końcu prowadziły w podziemiach fortecy prace budowlane i przygotowywały schrony lotnicze. Wojska czechosłowackie opuściły teren w 1959 i od tej chwili zamek stał się jednym z oddziałów muzeum miejskiego Brna.
Polscy więźniowie w Szpilbergu thumb|Tablica pamiątkowa na murze zewnętrznym twierdzy Szpilberg thumb|Korytarz więzienny w twierdzy Szpilberg thumb|Tablica pamiątkowa w twierdzy Szpilberg thumb|Cela więzienna w twierdzy Szpilberg Wśród więźniów wielu narodowości (Czesi, Niemcy austriaccy i sascy, Słowacy, Węgrzy, Włosi) najliczniejszą grupą w latach 1839–1848 byli Polacy z Galicji. Byli też grupą najlepiej zorganizowaną: w warunkach więziennych zorganizowali swoistą "Rzeczpospolitą Grajgórską" z własnym sejmem, własną władzą wykonawczą i sądem oraz organizacją kształcącą. Wśród więźniów byli m.in. agitatorzy z terenów Galicji Kajetan Dominikowski, Mikołaj Kański, Julian Goslar, ksiądz Stanisław Morgenstern;