zaczęto otaczać miasto murami z basztami i bramami. Od wschodu, południa i częściowo od zachodu naturalną barierą była Łyna. Mury tu też były osłonowe, słabsze. Od północy powstały masywne mury z licznymi basztami i suchą fosą, o ich ogromie może świadczyć, że zachowały się do dzisiaj. Budowę fortyfikacji zakończono w 1357 r. Do miasta można było się dostać trzema bramami i furtą kościelną. Od północnego wschodu Młyńska, od północnego zachodu Wysoka i od południowego zachodu Kościelna oraz furtka zwana Zamkową, znajdująca się po stronie południowej obok kościoła. Już ok. 1390 r. pomyślano o budowie wodociągu, który działał do 1904 r. Wszystko to miasto zawdzięczało Janowi z Miśni, który w 1350 r. wybrał miasto jako siedzibę dla biskupów warmińskich. W tym także roku rozpoczął on budowę murowanego zamku. Tutaj skupiła się centralna administracja biskupstwa, stanowiono prawa, odbywano sądy; tutaj kwitło życie kulturalne i dyplomatyczne, funkcjonowała szkoła.