W 1414 roku w czasie "Wojny głodowej" wojska króla Władysława Jagiełły zdobyły zamek oraz miasto, które zostało spalone. W 1453 roku zamek obsadziło zaciężne wojsko kapituły warmińskiej. W lutym następnego roku doszło do buntu mieszkańców przeciwko biskupowi warmińskiemu. Mieszkańcy otworzyli bramy miasta i zamku zaciężnemu oddziałowi czeskiemu w służbie króla Kazimierza Jagiellończyka. W 1472 roku zamek stał się celem ataku wojsk biskupa warmińskiego, jednak załoga polska obroniła i utrzymała zamek do roku 1477, kiedy to oddziały biskupa Mikołaja Tungena zdobyły zamek. Wojna popia zakończyła się w 1479 roku zawarciem układu pomiędzy biskupem i królem w Piotrkowie oraz inkorporacją Warmii do Korony. Podczas wojny pruskiej w 1520 roku Albrecht von Hohenzollern na czele swych wojsk zdobył i spalił Jeziorany. Zamek został odbudowany w XVI wieku i stanowił rezydencję biskupów warmińskich aż do I rozbioru Polski w 1772 roku. W 1700 roku biskup Załuski założył u stóp zamkowego wzgórza ogród. Około 1713 roku prace remontowe na zamku prowadzono na polecenie biskupa Teodora Potockiego. W 1772 roku zamek przejęło państwo pruskie. W 1783 zamek zniszczył pożar, a następnie do 1789 został rozebrany przez administrację pruską. Na fundamentach północnej części skrzydła zachodniego zbudowano w 1790 roku ratusz miejski.