Z tego powodu na zamku często przebywał król Władysław Jagiełło, który w okresie 1399-1430 odwiedził zamek 26 razyJanusz Pietrzak, Zamki i dwory obronne w dobrach państwowych prowincji wielkopolskiej: studium z dziejów państwowych siedzib obronnych na przełomie średniowiecza i nowożytności, Instytut Archeologii Uniwersytetu Łódzkiego, Łódź 2003, s.76-77.. Po zakończeniu prowadzonej z Krzyżakami Wojny trzynastoletniej (1454–1466) zamek stracił znaczenie militarne i przede wszystkim pełnił rolę siedziby administracyjnej dla starostów brzeskich. Król Zygmunt I Stary przebywał na zamku 5 razy.
Gotycki zamek mierzył około 40 x 47 m i składał się m.in. z prostokątnego głównego domu zamkowego o wymiarach 12,6 × 23,3 m, ulokowanego w północnej części założenia, w miejscu obecnie istniejącego budynku z 1800 roku. Obok głównego budynku od wschodu znajdowała się wieża z bramą wjazdową, do której prowadził most zwodzonyLustracja województw wielkopolskich i kujawskich 1565, Bydgoszcz 1961, s.107-110.. Zamek otaczał ceglany mur obwodowy na planie nieregularnego czworokąta. W narożniku południowo-wschodnim przypuszczalnie wznosiła się niewielka wieża cylindryczna o średnicy 6,5 metra (Wieża Kesza [Kusa]).