W XIX wieku popularnością cieszyły się organizowane w Wysokiem targi na konie i bydło. Rozwojowi miejscowości sprzyjało też dogodne położenie komunikacyjne na trakcie łączącym Brześć i Białystok oraz w pobliżu linii kolejowej Brześć-Grajewo. W roku 1869 wzniesiono murowaną cerkiew, która zastąpiła drewnianą cerkiew unicką z roku 1840, w mieście znajdowała się także synagoga i 4 żydowskie domy modlitwy. W 1895 roku miasteczko liczyło 4105 mieszkańców. W latach 1834, 1851, 1855 miały miejsce poważne pożary, a po kolejnym w roku 1889 wśród drewnianej w większości zabudowy zaczęły pojawiać się budynki murowane. Za II Rzeczypospolitej miejscowość była siedzibą gminy Wysokie Litewskie. 20 kwietnia 1934 roku do miasta włączono część obszarów tej gminy (3 przedmieścia i dwór majątku Wysokie Litewskie).
Podczas okupacji hitlerowskiej, latem 1941 roku Niemcy utworzyli getto dla żydowskich mieszkańców. Przebywało w nim około 5000 (2500 z Kamieńca Litewskiego) osób. 12 listopada 1942 roku Niemcy ostatecznie zlikwidowali getto. Żydów wywieziono do obozu w Treblince.