Piotr Łysy na dworze się nie utrzymał, a jego miejsce zajął Prokop Hryhoriewicz – dworzanin starosty mereckiego. W XII wieku wieś została podbita przez Krzyżaków (podbój zakończył się w roku 1283). Już w XIV wieku we wsi na szlaku kupieckim prowadzącym w stronę Sejn była karczma. W podaniach wymienia się ją jako słynącą z tego, iż w jej menu sztandarowe miejsce zajmowały raki. W 1409 roku miano nimi tu poczęstować króla Jagiełłę. W roku 1413 tereny pojaćwieskie, w tym miasto królewskie w starostwie niegrodowym wiżańskim zostały włączone do powiatu grodzieńskiego w województwie trockim. Było w nim jeszcze w końcu XVIII wiekuВялікі гістарычны атлас Беларусі Т.2, Mińsk 2013, s. 86.. W wieku XV na tereny dzisiejszej gminy zaczęli przybywać osadnicy słowiańscy i litewscy. Źródła pisane wymieniają Wiżajny w 1606 jako miasto, choć data otrzymania praw miejskich nie jest znana. W dokumentach parafii Puńsk z 1606 tego roku wspomniano, że „droga wiodła obok miasta Wiżajny". Wiadomo natomiast, że prawo magdeburskie zostało potwierdzone 11 maja 1693 roku i ponownie 14 lutego 1792 roku. W roku 1638 nadane zostały Radziwiłłom.