Już wówczas Reszel określany był łacińskim mianem castrum.
Mimo że należał do biskupów, wobec zagrożenia pruskiego do 1273 były tam osadzone załogi krzyżackie. Obawy nie były bezpodstawne. W 1260 wybuchło powstanie pruskie. W pierwszych miesiącach walk Krzyżacy utracili większość placówek na Warmii. Załoga Reszla, nie czekając na pruskie oblężenie, spaliła strażnicę i ukradkiem uciekła. Ostatecznie do 1273 powstanie Prusów zostało stłumione.
Budowa warowni thumb|250px|Wieża zamku biskupów warmińskich w Reszlu Po powrocie do Reszla Krzyżacy odbudowali gródek, który w postaci drewniano-ziemnej warowni przetrwał zapewne aż do połowy XIV wieku. Ponieważ obok rozwinęła się osada, która w 1337 uzyskała lokację na prawie chełmińskim, wkrótce pilną potrzebą stało się jej zabezpieczenie. Najprawdopodobniej pierwszy powstał zamek biskupi. Wkrótce zaś miasto, które wyrosło obok niego, połączono murami obronnymi umocnieniami tej biskupiej warowni. Całość założenia sprawiła wrażenie jednego potężnego systemu obronnego, ale wieże zamku zdecydowanie przewyższały baszty miejskie. Gdyby miasto padło wtedy zamek mógłby się bronić dalej, natomiast gdyby nieprzyjacielowi udał się zdobyć warownię, miasto zostałoby bezbronne.