On właśnie przygotował obronę Olsztyna przed najazdem krzyżackim.

W XVI wieku gościli tu też dwaj biskupi warmińscy, a zarazem wielcy pisarze: Jan Dantyszek – „pierwszy poeta sarmacki”, obdarzony cesarskim wawrzynem za „pieśni łacińskie” (1538, 1541) oraz Marcin Kromer z równą swobodą tworzący po łacinie i po polsku dzieła naukowe i literackie (1580). Kromer poświęcił wówczas kaplicę św. Anny, niedawno zbudowaną w południowo-zachodnim skrzydle zamku, a obdarzoną misternym siatkowym sklepieniem.

Z czasem oba skrzydła zamku utraciły militarne znaczenie, a dla celów mieszkalnych stały się mało dogodne. W 1758 doprowadzono więc do zamku dojazd od strony miasta i zbudowano z tej strony skrzydło pałacowe, jednocześnie likwidując podgrodzie i część murów. W 1779 zatrzymywał się tutaj Ignacy Krasicki, biskup warmiński i wybitny polski poeta.

Po I rozbiorze Polski i sekularyzacji Warmii w 1772 roku zamek przeszedł na własność państwa pruskiego, a dokładnie zarządu państwowych majątków ziemskich. Mieściła się tu przez pewien czas również parafia ewangelicka.