Ich spadkobiercą był Mikołaj Stefan Pac, wojewoda trocki i przyszły biskup wileński, który sprowadził w 1654 do Choroszczy zakon dominikanów.

Nie jest znany układ przestrzenny miasta w XVI i XVII wieku. Życie zapewne koncentrowało się w centrum, wokół rynku. Tu znajdował się kościół, klasztor, cerkiew i dwór Chodkiewiczów, w którym mógł również rezydować biskup Mikołaj Stefan Pac. Wiek XVII zapisał się tragicznie w historii kraju – wojny, epidemie i pożary nie ominęły Choroszczy. Pożar w 1683 doszczętnie zniszczył miasto – spłonęło 600 domów, klasztor, kościół i cerkiew. W 1703 Choroszcz wraz z przyległymi wsiami została odkupiona przez Stefana Mikołaja Branickiego z rąk generała Jerzego Mniszcha. Do upadku miasta przyczynił się kolejny pożar w 1707. thumb|lewo|Park i pałac Branickich zimą