W rogach zamku wzniesiono trzy wieże, z których jedna została zaadaptowana na więzienie. Najwyższe piętra wszystkich wież służyły za składy amunicji i pomieszczenia dla obsługi dział zamkowych. Na terenie zamku wzniesiono szereg wolnostojących budynków gospodarczych (stajnie, kuchnie).
Upadek zamku thumb|left|Zrujnowany zamek trocki, stan z 1877, rysunek Napoleona Ordy thumb|Jedna z baszt zamku na fotografii z lat 30. XX wieku Wkrótce po bitwie pod Grunwaldem zamek zaczął tracić swoje znaczenie wojskowe. Dawna twierdza została przekształcona w rezydencję książęcą i bogato udekorowana wewnątrz. Do Trok przyjeżdżali zagraniczni posłowie, w 1414 zamek opisał flamandzki podróżnik Guillebert de Lannoy. W zamku kilkakrotnie gościł Władysław Jagiełło, zaś Witold zmarł na terenie zamku w 1430. Dziesięć lat później w twierdzy został zamordowany jego brat Zygmunt. Pod rządami Zygmunta Starego i Zygmunta Augusta obiekt został przebudowany w stylu renesansowym i przeszedł kolejne prace adaptacyjne w celu przekształcenia w letnią rezydencję. Czasowo pełnił również funkcję więzieniaTroki – perełka w koronie Litwy.. W czasie wojen z Moskwą został zrujnowany, a z odbudowy zrezygnowano.