Z warownią sąsiadowały liczne szopy, stajnie, zabudowania mieszkalne służby, a także folwark.
Po śmierci Bolka V w 1460, władzę nad ziemią prudnicką przejął książę opolski Mikołaj I. 21 września 1502 książę Jan II Dobry przekazał zamek w zarząd Wiktorynowi Honbickiemu.
Od XVI do XVIII wieku mały|Rysunek zamku w XVIII wieku autorstwa F.B. Wernera Książę Jan II Dobry zmarł bezpotomnie 27 marca 1532. Wówczas Prudnik wraz z całym księstwem opolsko-raciborskim przypadł królom czeskim z dynastii Habsburgów. W następnych latach zamek kilkakrotnie zmieniał właścicieli. Cesarz Ferdynand I Habsburg zastawił w 1558 dobra prudnickiego zamku szlachcicowi Konradowi Sauermannowi. W 1562 rada miejska Prudnika wzięła dobra w zastaw, a w 1597 nabyła je na własność. Wówczas w skład dóbr zamku wchodziły wsie Szybowice, Mieszkowice, Rudziczka, Włókna, Lubrza, Dytmarów, Jasiona, Pokrzywna i Wieszczyna. W 1598 sprzedano Mieszkowice, Rudziczkę i Włókna, za to kupiono Skrzypiec, a w 1604 Krzyżkowice. Mieszkańcy wsi zobowiązani byli do płacenia daniny na zamek, pomagać w pracach remontowych, dostarczania żywności na zamek, a także bronienia go w czasie wojny.
Kiedy w II połowie XVI wieku miasto otoczono wałem i dokonano remontu murów miejskich, zamek był już „mocno zrujnowany”.