Od roku 1346 lub 1347 budowę zamku kontynuowała kaputuła warmińska.
W maju 1348 w zameczku w Bartążku odbyła się narada najwyższych dostojników kapituły z udziałem jej lokalnych przedstawicieli, podczas której podjęto decyzję o lokacji nowego miasta w pobliżu budowanego murowanego zamku nad Łyną. 31 października 1353 roku kapituła nadała prawa miejskie miastu Olsztyn. Zamek wówczas był już najprawdopodobniej w zasadniczej mierze ukończony. Do zamku przeniosło z Bartążka swoją siedzibę komornictwo olsztyńskie.
Południowo-zachodnie skrzydło zamku zbudowano w XV w. Wieżę z połowy XIV w., położoną w zachodnim narożniku dziedzińca, przebudowano w początku XVI w., nadając jej kształt okrągły na czworokątnej podstawie, wysokość jej wynosiła 40 m. Jednocześnie zamkowe mury obronne podwyższono do wysokości 12 m i uzupełniono drugim pasem niższych murów, wzmocnionych basztami. System zamkowych murów połączono częściowo z murami miejskimi, przez co zamek stał się jak gdyby potężnym bastionem wysuniętym poza miasto i broniącym do niego dostępu.