Następnymi właścicielami majątku byli kolejno krajczy litewski Andrzej Wojna, syn Wawrzyńca. W 1603 roku Andrzej Wojna ufundował obecnie istniejący kościół. Wnuk tego ostatniego – Łukasz Wojna, sprzedał Wysokie wraz z Łumną, Swityczami, Raśną, Zubanami i Wojnówką wojewodzie witebskiemu, późniejszemu hetmanowi wielkiemu litewskiemu Pawłowi Janowi Sapieże.
W dobrach Sapiehów Wysokie i wymienione wsie, a także folwarki tworzyły osobny klucz. Sapiehowie posiadali w Wysokiem zamek, lecz z pierwotnego założenia do naszych czasów przetrwała jedynie siedemnastowieczna brama i pozostałości wałów. W roku 1671 król Michał Korybut Wiśniowiecki ustanowił na prośbę Benedykta Sapiehy jarmark w Wysokiem. W roku 1700, Benedykt Sapieha zrzekł się klucza na rzecz swojego syna wojewody podlaskiego Michała Józefa Sapiehy. Poważne zniszczenia miasteczka oraz okolicznych ziem przyniosła III wojna północna. Michał Józef Sapieha i jego żona Ludwika z Wielopolskich mieli położyć znaczne zasługi dla odrestaurowania kościoła parafialnego, lecz Wysokie i przyległe folwarki nie powróciły do dawnego znaczenia ekonomicznego i politycznego. W roku 1748 spłonął zamek, jednak przypuszczalnie go odbudowano, ponieważ w roku 1753 wzmiankowano „dobra Wysokie z pałacem”. Wzmianki podają wiadomość o wielkim pożarze, który miał nawiedzić miasto w roku 1758 lub 1768.