W 1414 podczas Wojny głodowej między Królestwem Polskim i Zakonem Krzyżackim zamek został spalony. W połowie XV wieku rozpoczęto gruntowną rozbudowę, w wyniku której dobudowano cztery skrzydła. Zamek nie posiadał wieży głównej. Kolejne zniszczenia miały miejsce w 1455 podczas Wojny trzynastoletniej, gdy zamek zdobyli Krzyżacy i następnie został odbity przez Polaków, którzy wzięli do niewoli 60 Krzyżaków. Od 1466 roku Pieniężno należało do Polski wchodząc w skład biskupstwa warmińskiego. Po odbudowie, od października 1518 roku do marca 1519 roku na zamku mieszkał Mikołaj Kopernik, który wyjeżdżał z niego na kontrole okolicznych wsi należących do kapituły warmińskiej. Podczas wojny z Polską zamek został zdobyty w marcu 1520 roku przez oddziały Zakonu krzyżackiego, mimo zaciekłej obrony polskiej załogi dowodzonej przez Jana Kostelaka i Wawrzyńca Bieniaszewskiego. W latach 1589–1599 zarządcą zamku był książę Siedmiogrodu Andrzej Batory, bratanek króla Polski Stefana Batorego.