Przed zewnętrzną palisadą znajdowała się fosa a we wschodniej części brama wjazdowa.
W XIII wieku do baszty obronnej dobudowano Dom Biskupi, który stał się siedzibą biskupiego Prokuratora. W okresie od XIII do początków XV wieku biskupi często przebywali w Ujeździe, o czym świadczą wystawione tutaj dokumenty. Ujazd stanowił wtedy centrum dóbr biskupich w granicach księstwa opolskiego, tzw. Klucza Ujazdowskiego.
W XIV wieku basztę i Dom Biskupi przebudowano w stylu gotyckim. Powiększono też obszar zamku otoczony murem obronnym i zbudowano bramę z piętrowym budynkiem bramnym. Prawdopodobnie w narożniku pn.-wsch. zbudowano drugą basztę lub basteję wychodzącą poza mury. Około 1365 roku, w czasie konfliktu biskupa Przecława z Pogorzeli z księciem opolskim Bolkiem III zbudowano dodatkowe fortyfikacje broniące zamku i miasta. W 1370 roku na polecenie cesarza Karola IV fortyfikacje te zburzono.