W XV wieku na Zamku Dolnym powstał Dom Królewski (tzw. Domus Regia), który stał się główną rezydencją królewską. W 1445 roku wielki książę litewski Kazimierz IV Jagiellończyk przyjął w nim poselstwo koronne, oferujące mu koronę Królestwa Polskiego. Król zmarł na zamku w 1492 roku. Na zamku w Grodnie mieszkał i zmarł w 1483 roku także syn króla Kazimierza – święty Kazimierz. Zamek przedstawiony jest na rycinie Grodna autorstwa Adelhausera-Zündta z lat 1567-1568 – nad zamkiem umieszczony jest napis Arx Latericia (budynek z cegły). Opis zamku zachował się w inwentarzu z 1578 r., w którym odnotowano cztery murowane wieżeAGAD, AK, sygn. I/10, k. 6–7.
Zamek w czasach Stefana Batorego Powrót do świetności zamku górnego nastąpił w czasach panowania króla Stefana Batorego, który w trakcie wojny z Moskwą w latach 1577-1582 o Inflanty uczynił z zamku swoją główną rezydencję. W dniach 16 –17 lutego 1579 roku odbyła się narada króla i senatorów, na której zgodzono się na plan Krzysztofa "Pioruna" RadziwiłłaŁabędź, Piotr, “Działalność wojskowa Krzysztofa Radziwiłła „Pioruna” w latach 1572 –1579.”, Zapiski Historyczne, tom 76, z.1 (2011), s.37.