Podczas wojny polsko-rosyjskiej w roku 1659 zamek szturmowały wojska moskiewskie. Zamek najbardziej ucierpiał w roku 1710, gdy spaliły go szwedzkie wojska Karola XII podczas III wojny północnej. Po 1791 roku, gdy zostało spalone miasto, rabunkowo zaczęto rozbierać zamek na materiał budowlany. Podczas powstania w 1794 na zamku doszło do starcia pomiędzy wojskami Tadeusza Kościuszki i wojskami rosyjskimi. W latach 20. XX wieku miejscowe polskie władze zaczęły zamek odbudowywać. Na dziedzińcu zamkowym znajdowało się boisko przysposobienia wojskowego. Obecnie prace rekonstrukcyjne są kontynuowane od 1982 roku. Po 2007 roku zrekonstruowano m.in. wieżę i drewnianą galerię obronną ciągnącą się wzdłuż korony murów ze strzelnicami. W jednej z wież mieści się muzeum.
Architektura Lida należy do tego samego typu zamków kasztelowych co Krewo czy Miedniki. Zamek ma kształt czworoboku o wymiarach 93,5 x 83,45 x 80 x 84 m, z dwoma narożnymi wieżami o 5 kondygnacjach. Wjazd znajdował się przez most zwodzony od strony wschodniej obok wieży. Mury miały grubość od 1,5 do 2 metrów i wysokość około 12-15 metrów.