Z tego powodu miasto było wielokrotnie palone przez Tatarów. W czasie okupacji tureckiej klasztor dominikanów został zniszczony. W 1750 roku na miasto i klasztor napadli Hajdamacy. Do 1793 roku miasto powiatowe w województwie podolskim, po III rozbiorze Polski miasto powiatowe w guberni podolskiej.
Podczas okupacji hitlerowskiej, 22 września 1941 roku Niemcy utworzyli getto dla żydowskich mieszkańców. Przebywało w nim około 7500 osób. 30 stycznia 1943 roku Niemcy zlikwidowali getto, a Żydów zamordowali.
Zabytki zamek - przed 1598 rokiem Jan Potocki zbudował w Latyczowie mury obronne i zamek Kościół Wniebowzięcia Najświętszej Marii Panny i klasztor Dominikanów – od 1606 roku w Latyczowie znajduje się słynny klasztor dominikański z cudownym obrazem Matki Boskiej Latyczowskiej. Obecnie istniejący kościół zbudowano w latach 1613–1638, a fasadę ozdobiono „lubelskim” szczytem. W bryle kościoła można dostrzec świadome nawiązania do gotyckiej tradycji budowlanej w postaci ostrołukowych sklepień. W 1641 roku konwent dominikanów otrzymał nowicjat. Klasztor został zniszczony podczas okupacji tureckiej, ale w latach 1702–1724 został odbudowany w stylu barokowym. Ze względu na wielką liczbę cudów i łask, jakich doznawali tutaj pielgrzymi, papież Pius VI w 1778 roku wydał dekret o koronacji obrazu.