Możliwe, że Stanisław Latalski wzniósł także, określony w opisie jako dom nowy, budynek dostawiony do północnego muru zamkowego. Był on parterowy, zaś wybudowano go w konstrukcji szkieletowej z wypełnieniem ceglanym. Najpewniej jednak zbudował go już Janusz Latalski (ojciec Stanisława) dzierżący starostwo w latach 1516-1557). On też głównie (lub Andrzej Kościelecki jego poprzednik w latach-1510-1515) przyczynił się do rozbudowy zabudowań gospodarczych zanotowanych na zamku w inwentarzu z roku 1510. W początkach drugiej połowy XVI wieku były to drewniane i szkieletowe, parterowe budynki zajmujące południową i północno-wschodnią partię zamku. Mury i fosy miejskie osłaniały też zamek od północy i zachodu. NA przygródku znajdował się dom kancelaryjski i kamienny lamus do chowania ksiąg grodzkich. W 1647 roku opisano, że zawaliły się do wnętrza wszystkie wnętrza głównego budynku zamkowego. Po zniszczeniu zamku przez Szwedów około 1657 roku, spalony zamek został opuszczony i popadł w ruinę. W 1765 roku zamek został opisany jako zrujnowany.

Na początku XIX wieku zrujnowany zamek został rozebrany przez Prusaków, którzy wykorzystali pochodzącą z niego cegłę do budowy w 1822 roku koszar kawalerii.