Krzepice, Olsztyn), poddała się wojskom królewskim pod dowództwem Spytka z Melsztyna i powróciła do domeny królów polskich.
W końcu XIV i na początku XV wieku zamek pełnił funkcję siedziby administracji królewskiej. Co najmniej od 1399 roku funkcję burgrabiego brzeźnickiego pełnił Jan Długosz z Niedzielska, ojciec kronikarza Jana Długosza.
W XVI wieku obiekt zaczął przybierać charakter przede wszystkim administracyjny. W inwentarzach z 1534 i 1535 roku określono go łacińskim mianem curia sub oppido, czyli dworu położonego pod miastem. Opisy te przedstawiają siedzibę w stosunkowo dobrym stanie; oprócz zabudowań znajdujących się na kopcu na przygródku wymieniono także browar, łaźnię i dom czeladny.
W 1545 roku starosta Jan Spytek Tarnowski prowadził przy siedzibie prace remontowo-budowlane, które prawdopodobnie przyczyniły się do zachowania jej w dobrym stanie w połowie XVI wieku.
Szczegółowy opis zespołu zachował się w lustracji z lat 1564–1565. Wynika z niego, że była to wówczas dwuczłonowa siedziba z zasadniczą częścią mieszkalną ulokowaną na kopcu oraz z przylegającym od strony miasta przygródkiem. Wzmiankowane są: fosa, most, brama, dwie piwnice murowane i komóra, którą skarbnica zowią.