Po wojnie prusko-austriackiej z 1866 twierdza Ołomuniec straciła znaczenie strategiczne i miasto zaczęło zabiegać o rozbiórkę fortyfikacji. Wyburzanie pierwszych elementów twierdzy rozpoczęło się w 1870 (brama miejska od wschodu, wychodząca w stronę dzisiejszego dworca kolejowego), a rozbiórkę przyspieszył cesarski dekret z 1886 o odebraniu miastu statusu twierdzy. Ostatnie rozbiórki miały miejsce w latach 70. XX wieku; w Republice Czeskiej rozpoczęły się prace rekonstrukcyjne niektórych pozostałości po twierdzy.
Twierdza obecnie Na miejscu wschodniej części murów w 1898 powstał park Bezručovy sady. Po ołomunieckiej twierdzy zachowały się budynki (w tym odbudowane i przebudowane) z poniższego planu:
thumb|center|350px|Plan twierdzy Ołomuniec
budynki ołomunieckiej starówki pozostałości twierdzy Ołomuniec Młyński potok (Mlýnský potok) A – Koszary hanackie B – dom wojskowy C – piekarnia wojskowa D – zbrojownia E – dzieło koronowe (siedziba muzeum) F – koszary oficerskie i kazamaty I – Koszary staromiejskie 1 – Cygańska bramka 2 – wieża obronna 3 – romańska kaplica św.