Karłowice były pod panowaniem osmańskim do roku 1688, do V wojny austriacko-tureckiej, kiedy Imperium Osmańskie podczas odwrotu w kierunku Belgradu spalili i zniszczyli to miasto. Od 16 listopada 1698 do 26 stycznia 1699 trwały rokowania pokojowe, które oznaczały koniec wojny pomiędzy Imperium Osmańskim i krajami Świętej Ligi (koalicją Austrii, Rzeczypospolitej Obojga Narodów i Republiki Weneckiej). Negocjacje zakończyły się podpisaniem traktatu pokojowego zwanego pokojem w Karłowicach, według którego Karłowice stały się częścią posiadłości habsburskich pod nazwą Pogranicze Wojskowe (sch. Vojna Krajina). Na miejscu, gdzie został podpisany pokój w Karłowicach, wzniesiono w 1817 roku Kaplicę Pokoju.

Panowanie Habsburgów Po 1699 roku Karłowice stały się znaczącym miejscem wymiany handlowej, gdyż przez tę miejscowość przechodziły szlaki handlowe w kierunku Turcji. Bliskość Dunaju powodowała jeszcze większy rozwój handlu. Od XVI wieku Karłowice stają się jednym z ważniejszych centrów Serbskiej Cerkwi Prawosławnej. Po pierwszych przesiedleniach Serbów w roku 1690 miasto staje się jednym z kandydatów na siedzibę serbskich arcybiskupów. Dopiero w 1713 roku zdecydowano, że nowa siedziba metropolity przeniesie się z monasteru Krušedol do Karłowic.