W wyniku działów spadku Białe znalazło się w rękach potomków Konstantego Marcjana Niemirowicza-Szczytta, syna JustynianaT. Żychliński, Złota Księga Szlachty Polskiej, Rocznik IV, Poznań 1882, s. 361–365.Justynian Szczytt Niemirowicz, [w:] Polski Słownik Biograficzny, T. 47, 2011, s. 563–565..
W 1696 roku ufundowano tu majątek jezuicki, w 1727 roku wzniesiono kościół katolicki pw. św. Tadeusza.
Po II rozbiorze Polski w 1793 roku dobra te, wcześniej należące do województwa połockiego Rzeczypospolitej, znalazły się na terenie powiatu lepelskiego guberni witebskiej Imperium Rosyjskiego. Majątek jezuicki został skonfiskowany przez władze carskie w 1820 roku w ramach kasaty klasztorów w zaborze rosyjskim.
Około 1800 roku ówczesny właściciel Białego pisarz skarbowy litewski Justynian Niemirowicz-Szczytt (1740–1824) przekazał majątek swojemu synowi – Józefowi Niemirowiczowi-Szczyttowi (1777-1848), szambelanowi królewskiemu i dworu rosyjskiego, późniejszemu marszałkowi lepelskiemu. Józef Niemirowicz-Szczytt doprowadził do ponownego rozkwitu majątku, zabezpieczając przy tym XVI-XVIII wieczne pamiątki rodzinne Niemirowiczów-Szczyttów. Oprócz Białego Józef odziedziczył również Mosarz, Osinówkę i Wydryn. W 1817 roku poślubił Franciszkę Doktorowicz-Hrebnicką (1800-1881), z którą miał dwie córki: Ewelinę (ok. 1822-1904) – żonę gen.