Zapiski w kronikach mówią, iż latem 1411 roku podczas oblężenia zamku zdrajca znajdujący się w nim w czasie pobytu najważniejszych osób zakonu w refektarzu letnim miał wywiesić za oknem czerwoną flagę. Był to znak dla oblegających, którzy zaplanowali, że wystrzelona z armaty, 80-kilogramowa kula wleci do pomieszczenia i uderzy w jedyny filar podtrzymujący całą konstrukcję. Ona ominęła jednak go o sześć centymetrów (współczesne wyliczenia). Fragment kuli tkwi do dzisiaj w murach zamku (nad kominkiem refektarza letniego). W efekcie oblężenia zniszczono basztę Wróblą i skrzydła zachodniego Zamku Średniego. W latach 1411–1414 zbudowano dodatkową linię obrony od wschodu tzw. Wał Plauena, rozbudowany w latach 1441–1449. W 1418 roku budowniczy Nikolaus Fellenstein zbudował Bramę Nową (Bramę Piaskową). W 1454 roku zamek był bezskutecznie oblegany przez polskie rycerstwo i Związek PruskiTomasz Torbus, Zamki konwentualne Państwa Krzyżackiego w Prusach. Część II: Katalog, Słowo/Obraz Terytoria, 2023, ISBN 978-83-7453-216-7.. mały|lewo|Zamek Średni, Refektarz Letni
Rezydencja królów Polski (1457–1772) mały|Zamek Średni, Wielki Refektarz mały|Zamek, Stare i Nowe Miasto, 1639 mały|Kaplica św.