W dniu 29 czerwca 1941 roku Niemcy na zamku rozstrzelali około 2 tys. Żydów. Ponowna egzekucja Żydów na zamku nastąpiła 20 sierpnia 1942 roku po czym pochowano ich na dziedzińcu.
W czasach ZSRR zamek poddano renowacji w latach 1970–1977. W latach 1984–1986 przeprowadzono na zamku wykopaliska archeologiczne.
Stan obecny Z zamku zachował się prawie pełny obieg murów obronnych (częściowo rekonstruowanych) wraz z trzema wieżami: Bramną, Styrową (dawne archiwum zamkowe oraz więzienie w dolnych kondygnacjach) i Władyczą (obecnie wystawa broni, a na wyższych kondygnacjach – Muzeum Dzwonów). Całość usytuowana jest na niewielkim wzniesieniu nad zakolem doliny rzeki Styr (obecnie koryto rzeki jest odsunięte od wzgórza).
Wewnątrz muru rozciąga się obecnie prawie niezabudowany pusty plac. Na nim stoi mały klasycystyczny budynek, pierwotnie powiatowej Izby Skarbowej z 1807, a dziś Muzeum Książki. Budynek wzniesiono na miejscu dworu biskupiego. Większy budynek, przy murach, jest dziś siedzibą muzeum malarstwa, a powstał jako siedziba sądu szlacheckiego i kancelarii. Stoi on na pozostałościach pałacu książęcego. W centralnej części placu, pod przykryciem, jest ekspozycja ukazująca odsłonięte pozostałości cerkwi św. Jana Teologa z początków twierdzy.