Kres tego „złotego wieku” przyniosła wojna trzydziestoletnia. Podczas niej w 1642 roku miasto zostało zdobyte przez Szwedów i okupowane przez osiem lat. Kilkukrotne blokady szwedzkiego garnizonu przez wojska cesarskie oraz wielomiesięczne oblężenie prowadzone w 1644 roku przez Ladislava Buriana von Waldstein okazały się nieskuteczne. Po wojnie trzydziestoletniej, w dużej mierze zniszczone i wyludnione miasto utraciło faktyczny status stolicy Moraw na rzecz Brna, które nie zostało zdobyte przez Szwedów.

26 grudnia 1741 roku należące do austriackich Habsburgów miasto zostało zdobyte przez Prusaków podczas I wojny śląskiej. Po tym wydarzeniu Austriacy znacznie rozbudowali fortyfikacje, dzięki czemu miasto przetrwało drugie oblężenie pruskie w 1758 roku. W 1777 roku biskupstwo ołomunieckie zostało podniesione do rangi archidiecezji.

W latach 1794–1797 wybitny francusko-amerykański żołnierz i polityk markiz Marie Joseph de La Fayette był internowany w Ołomuńcu jako więzień polityczny monarchii habsburskiej. W tym czasie był tu też więziony polski polityk Hugo Kołłątaj.