Wiek XVI to okres rozkwitu rzemiosła sukienniczego i tkackiego.
W latach 1578–1591 zamek był rezydencją myśliwską saskich władców, a w latach 1602-1622 mieszkała tu owdowiała Zofia Hohenzollern (1568-1622). Na początku XVIII wieku zaczęto wykorzystywać glinę z okolic Colditz do wyrobu porcelany miśnieńskiej. W latach 1800–1803 zamek służył jako przytułek dla ubogich, potem mieszkali w nim robotnicy rolni, a w 1829 r. otwarto tam szpital dla umysłowo chorych. W 1804 r. założono w Colditz fabrykę fajansu Thomsberger & Hermann, rozpoczynając tym samym historię przemysłu ceramicznego w mieście. thumb|225px|Widok z 1850 W 1933 r. na zamku w Colditz powstał obóz koncentracyjny, w którym umieszczono około 600 działaczy antynazistowiskich, przekształcony w 1936 r. w obóz Służby Pracy Rzeszy, a w 1940 r. obóz jeniecki dla oficerów Oflag IV C. W listopadzie 1944 r. na terenie Zakładu Południowego Fabryki Fajansu utworzono podobóz KL Buchenwald, w którym przebywało około 450 żydowskich więźniów pracujących dla zakładów zbrojeniowych HASAG.
W 1958 r. zbudowano w Colditz fabrykę porcelany VEB Colditzer Porzellanwerk. Pochodzące stąd wyroby, oznaczane logiem cp, zaopatrywały w dużej mierze przedsiębiorstwo Mitropa.
Miasto znacznie ucierpiało w wyniku powodzi z 2002 roku.