W 1655 roku miasto zostało zniszczone przez Szwedów. W II połowie XVII wieku przeszło w ręce Jana III Sobieskiego, a następnie w ręce jego syna Jakuba. W 1703 r. zezwolił on Żydom na osiedlanie się w Czemiernikach, oraz wyznaczył dla nich odrębny cmentarz.
W 1719 roku miasto przeszło w ręce Stefana Humieckiego, wojewody podolskiego. Kolejnym właścicielem Czemiernik został Stanisław Małachowski. W 1809 roku miejscowość stała się własnością Urszuli, córki Konstancji i Dominika Radziwiłłów.
Kolejnym właścicielem Czemiernik został generał Wincenty Krasiński, choć formalnym właścicielem był jego syn Zygmunt Krasiński. Majątkiem zarządzał Józef Kotarbiński. Przeprowadzony został wówczas remont pałacu, o czym informuje inskrypcja na pamiątkowej tablicy umieszczonej we wschodniej elewacji.
Okres rozwoju Czemiernik przypada za rządów Henryka Firleja. Ten cieszący się dużymi wpływami w ówczesnej Rzeczypospolitej arcybiskup gnieźnieński i późniejszy prymas Polski zlikwidował zbór kalwiński i założył misję Jezuitów. Sprowadził także architektów, aby stworzyć tu swoją rezydencję.