W XV wieku Ryczyn znalazł się w geograficznym opisie Śląska autorstwa Jana Długosza oraz w dwóch opisach Hartmanna Schedela. W drugiej połowie XVI wieku Ryczyn jako mała osada wiejska znalazł się na mapie Śląska wykonanej przez Martina Helwiga. Od tego czasu nie ma już wzmianek dotyczących osadnictwa w tym rejonie. Gród i związane z nim cmentarzyska zarosły lasami, a Ryczyn stracił swoją pozycję na skutek rozwoju pobliskich miast – Oławy i Brzegu. Grodzisko wraz z kościołem zniszczyły w roku 1474 wojska Kazimierza Jagiellończyka, w trakcie jego wyprawy na Śląsk.
Kasztelanowie Ryczyna Władzę w grodzie z ramienia księcia sprawował kasztelan (komes). Był on naczelnym zwierzchnikiem grodu oraz dowódcą wojskowym sprawującym władzę administracyjną i sądowniczą. Pierwszym kasztelanem Ryczyna imiennie wymienionym w źródłach był w roku 1203 Imbram, syn Gniewomira. O znaczącej pozycji kasztelanów ryczyńskich świadczy fakt, że występował on jako świadek w sporach pomiędzy klasztorem w Henrykowie a okoliczną ludnością, co poświadcza „Księga henrykowska”.