Prawdopodobnie w XIV wieku zamek stał się rezydencją biskupów płockich, którzy zarządzali stąd kluczem swych rozległych dóbr ziemskich i chętnie przebywali w Pułtusku, polując w zanarwiańskiej Puszczy Białej. Początkowo zamkowa rezydencja była drewniana. W XIV w., a może dopiero w czasach biskupa Pawła Giżyckiego w zachodniej części wzgórza wzniesiono murowany Mały Dom, prostą podpiwniczoną budowlę na planie prostokąta, z czworoboczną kamienną wieżą. Najpoważniejsze prace nad rozbudową zamku prowadzono w XVI stuleciu. Nadały one rezydencji charakter renesansowy. Zarządzający w tamtych czasach diecezją płocką biskupi, będący zarazem wybitnymi humanistami i politykami, okazali się prawdziwymi mecenasami sztuki. Rafał Leszczyński, Andrzej Krzycki, a przede wszystkim Andrzej Noskowski sprowadzali na Mazowsze i do Pułtuska wziętych artystów wysokiej klasy. Ich zachwycające swoim kunsztem dzieła można tu podziwiać do dziś.