W latach 40. XVI wieku królowie z dynastii Wazów przebudowali zamek, czyniąc go siedzibą godną króla, tym samym zmieniając jego dotychczasową rolę. Od lata 1598 do 12 maja 1599 zajęte przez wojska polskie Zygmunta III Wazy. Rok 1611 zapisał się w historii miasta jako jeden z najczarniejszych. Odbyła się wtedy bitwa pod Kalmarem, która była częścią wojny kalmarskiej. Wojska szwedzkie przegrały potyczkę i zamek został oblężony. W latach 1602–1903 miasto było siedzibą Diecezji Kalmarskiej.

Po podpisaniu Traktatu z Roskilde w roku 1658 miasto straciło swą pozycję, gdyż przestało leżeć przy granicy. Kiedy w roku 1689 flota szwedzka została przeniesiona do Karlskrony, miasto całkowicie straciło swą dotychczasową pozycję militarną. Także podczas wojny skańskiej zamek został oblężony, ale nigdy nikomu nie udało się go zdobyć. W Kalmarze znajduje się zabytkowa katedra wybudowana w roku 1702 w stylu barokowym. Wraz z utratą pozycji militarnej miasto ubożało. Dopiero w XIX wieku, kiedy rozwój przemysłu pobudził Kalmar do życia, udało się mu odzyskać dawną świetność.