W drugim etapie prace prowadzili Aleksander von Berg i Jakub Fryczyński sprowadzony z Nieświeża. Przebudowano wnętrza w stylu rokoko, rozbudowano krużganki tak, że ciągnęły się na dwu piętrach wzdłuż całego boku naprzeciw wjazdu.
W 1772 roku po rozbiorze, zamek przejęli Austriacy, a w 1787 roku zamek kupił na licytacji Adam Józefowicz-Hlebnicki. W połowie XIX wieku ówczesny właściciel Artur Głogowski rozprzedał resztki wyposażenia i rozebrał część zabudowań m.in. kaplicę i sąsiadującą z nią wieżę, krużganki i wielkie schody. W późniejszych latach budynki zamku były jeszcze kilkakrotnie przebudowywane na cele różnych instytucji.
Galeria
Poważne zniszczenia dotknęły zamek w czasie I wojny światowej na skutek spalenia go w 1915 roku przez Rosjan. W okresie II Rzeczypospolitej po częściowej odbudowie w latach 1928–1931 (np. okien i strzelnic) były tu koszary wojskowe, a potem Państwowe Gimnazjum im. Hetmana Stanisława Żółkiewskiego i więzienie grodzkie (w jednej z baszt). W 1936 odbudowano 7 komnat zamku. Od końca września 1939 roku zamek zajmowała Armia Czerwona, która urządziła w nim mieszkania i więzienie. W czerwcu 1941 roku, tuż przed wkroczeniem Niemców, NKWD rozstrzelało trzydziestu czterech więźniów (trzydziestu Ukraińców i czterech Polaków).