Kolejne najazdy Krzyżaków miały miejsce w 1305, 1306, 1311, 1314, 1328 roku. Po 1385 roku Jagiełło przekazał gród księciu Witoldowi. Po tym, gdy Witold w 1389 roku zdradził Jagiełłę i uciekł do Krzyżaków, w kwietniu 1390 roku gród został zdobyty przez wojska JagiełłyM. Radoch, W sprawie daty nadania przez Władysława Jagiełłę ziemi drohickiej księciu mazowieckiemu Januszowi I, [w:] Szkice z dziejów kolonizacji Podlasia i Grodzieńszczyzny od XIV do XVI wieku, Olsztyn 2002, s. 11–20.. W 1393 roku gród ponownie oblegali Krzyżacy i go zniszczyli. Gdy na mocy Ugody w Ostrowie Witold pogodził się z Jagiełłą, w 1393 roku gród ponownie objął Witold. Gród spłonął w 1398 roku. Po wybuchu w 1401 roku powstania antykrzyżackiego na Żmudzi, Krzyżacy w odwecie w 1402 roku zaatakowali Grodno, jednak gród wytrzymał oblężenie.
Zamek gotycki Około 1419 roku książę Witold Kiejstutowicz polecił wybudować na jego miejscu murowany zamekVytautas Volungevičius, Pilies šešėlyje. Teritorija, visuomenė ir valdžia Lietuvos Didžiojoje Kunigaikštystėje, Vilnius: Naujasis Židinys-Aidai, 2016, s.468, z pięcioma basztami i łączącymi je murami o grubości 3 metrów. Z tego założenia zachowały się do dzisiaj jedynie fragmenty. W tym okresie zbudowano także Zamek Dolny (w miejscu dzisiejszego Nowego Zamku).