Zamek był rezydencją książąt mazowieckich do 1495 roku, gdy po śmierci Janusza II wszedł w skład dóbr objętych przez polskiego króla Jana I Olbrachta, który przybył na zamek w sierpniu. W 1509 i 1517 roku Zygmunt I Stary polecił staroście wyremontować zamek, co komisja królewska skontrolowała w 1530 roku potwierdzając dobry stan zespołu zamkowego. W 1532 południowa część zamku ze stojącym w międzymurzu budynkiem mieszkalnym wykorzystywanym przez władców uległa częściowemu zniszczeniu w wyniku obsunięcia się skarpy podmytej przez Wisłę. W 1538 król Zygmunt Stary przekazał północno-zachodnią część zamku na potrzeby opactwa benedyktynów. Powstały w tym miejscu kościół św. Wojciecha i barokowy zespół budynków konwentu w znacznym stopniu zmienił wygląd zamku. Nowy wjazd na zamek umieszczono obok dawnej bramy od strony zachodniej i prowadził on przez most wspierający się na pięciu murowanych filarach. W 1552 roku na jeden dzień na zamek przybył król Zygmunt August i w tym samym roku przebywała na nim z córkami królowa Bona. Czterokrotnie na zamku przebywał Zygmunt III Waza.