Zachowany średniowieczny układ miasta zbliżony do owalu, z rynkiem i ulicami zbiegającymi się przy dawnych bramach miejskich. W XVII wieku miasto spustoszyły wojska szwedzkie, w 1742 pruskie i austriackie. Od 1742 Milicz leżał w Królestwie Pruskim, w 1806 przez miasto przeszły wojska francuskie, w 1813 miało tu miejsce spotkanie cara Aleksandra I z marszałkiem polnym Michaiłem Kutuzowem. Na początku XIX wieku powstały pierwsze przędzalnie wełny i manufaktury sukiennicze, połowie tego wieku miasto zyskało liczne urządzenia komunalne m.in. szpital, nowy ratusz, przebudowane wodociągi i kanalizację. Od 1871 Milicz leżał w Cesarstwie Niemieckim, od 1918 w Republice Weimarskiej, przekształconej po 1933 w III Rzeszę pod rządami dyktatora Adolfa Hitlera.
Milicz został zdobyty 22 stycznia 1945 przez oddziały 4 Armii Pancernej dowodzonej przez gen. Dmitrija Leluszenkę z 1 Frontu Ukraińskiego Armii CzerwonejRada Ochrony Pomników Walki i Męczeństwa „Przewodnik po upamiętnionych miejscach walk i męczeństwa lata wojny 1939- 1945”, Sport i Turystyka 1988, , s. 801.. Wraz z Ziemiami Odzyskanymi przyznany Polsce w ramach ładu pojałtańskiego przez zwycięskie mocarstwa II wojny światowej.