Zamek na wyspie Zamek na największej z trzech wysp jeziora Galwe polecił wybudować wielki książę Witold w latach 1404–1408Z. Ivinskis, Traku Galves e żero salos pilis, s. 154–171.. Warownia miała stanowić wsparcie dla wcześniejszego trockiego zamku położonego na półwyspie. Zbudowano dwa skrzydła i 35-metrowy donżon. Donżon, oprócz standardowych funkcji obronnych, mieścił również kaplicę i część pomieszczeń mieszkalnych. Najważniejszym elementem struktury zamkowej został czworoboczny pałac książęcy z wewnętrznym dziedzińcem otoczonym drewnianymi galeriami. Całe skrzydło południowe zamku zostało zaadaptowane na monumentalną salę książęcą (10 na 21 metrów), drugą co do wielkości średniowieczną salę na Litwie.
W drugiej fazie rozbudowy, w odróżnieniu od pierwszej fazy budowy, w której przeważającym materiałem był kamień, zamek był budowany głównie z czerwonej cegły. Jego dekoracja była skromna – ograniczała się go glazurowanych cegieł i witraży w oknach. Obiekt był utrzymany w stylu gotyckim. thumb|left|Most zamkowy thumb|left|Mury zamkowe W trzeciej fazie rozbudowy zamku kontynuowane były prace nad modernizacją i wzmacnianiem zamku. Mury otaczające obiekt zostały wzmocnione do grubości 2,5 metra, dobudowano galerie, z których można było w razie ataku prowadzić ogień.