W roku 1525 obiekt stał się siedzibą książęcego starosty. Gościł tu też często pierwszy władca nowożytnych Prus – Albrecht Hohenzollern oraz jego następcy. Powody były różne, jednakże najczęstszym były polowania w Puszczy Piskiej. W 1538 roku przez dłuższy czas przebywał tu wraz z dworem książę, wypędzony z Królewca panującą tam zarazą. Wyjątkowe spotkania, mający polityczny i międzynarodowy charakter miały miejsce w 1698 i 1734 roku. W końcu XVII wieku Pisz odwiedził król Polski August II Mocny, którego przyjął na zamku książę Fryderyk III Hohenzollern. Drugie spotkanie ma związek z następcą Augusta, królem Stanisławem Leszczyńskim, który w obawie przed wojskami rosyjskim zbiegł z Gdańska do Pisza w przebraniu chłopskim, gdzie został rozpoznany i zatrzymany.