Jeśli chodzi o sam zamek, to na północ od Małego Domu wzniesiono Duży Dom, obecne skrzydło północno-zachodnie. Był to murowany, dwukondygnacyjny, podpiwniczony gmach na planie prostokąta, o jednotraktowym układzie wnętrz. Przylegała doń od wschodu brama. Budowla ta przetrwała do dziś. W XVI stuleciu w czasie pełnienia funkcji biskupa Piotra Myszkowskiego wokół zamku powstały odgrodzone od miasta parkanem ogrody z drzewami owocowymi i winoroślą. Na początku następnego stulecia biskup Marcin Szyszkowski doprowadził do oszkarpowania murów zamkowych, zaś jego następca, Henryk Firlej, wzniósł potężny arkadowy most przy wjeździe i murowany parkan wokół ogrodu. Z kolei z inicjatywy biskupa Stanisława Łubieńskiego, w roku 1628, ówczesną kaplicę zamkową ozdobił polichromiami malarz pułtuski Jan Rostwoski. W roku 1640 Łubieński zapisem testamentowym przekazał także na rzecz zamku w swój cenny księgozbiór. Miał on po wieczne czasy znajdować się w jednym z pomieszczeń w zamkowych piwnicach. Jednak do naszych czasów już nie dotrwał. Jak w wielu miejscach w Polsce wielkich zniszczeń dokonali tu w czasie potopu Szwedzi. Niemal całkowicie zrujnowali zamek, a z miasta i z okolicznych wiosek w ciągu dwóch lat ściągnęli daniny, jakie zwykle płacono by przez lat 30.