Po śmierci króla Zygmunta Augusta w 1572 roku, w dworze zamieszkiwała przez dwa miesiące jego siostra Anna Jagiellonka, która przyjmowała w nim posłów starających się o jej rękę.
W XVII wieku dwór był już zniszczony, tak że lustratorzy odnotowują, że we wszystkim jednak dworze ruina niemała. Niedługo po tej relacji zamek został opuszczony, z wyjątkiem budynku zwanego „skarbcem”, który być może należał do gotyckiego dworu książąt mazowieckich. Miejsce po zamku zaznaczono na planie Łomży z 1800 roku i na jego przerysie z 1824 roku. Mieściło się tam Archiwum Akt Ziemi Łomżyńskiej aż do 1824 roku, kiedy budynek ten został rozebrany. Przed II wojną światową w rejonie gdzie stał zamek znajdowała się dzielnica żydowska z synagogą, przedszkolem, szkołami i innymi budynkami.
Badania archeologiczne Badania archeologiczne, które prowadzili w 1967 roku Tadeusz Żurowski i Jolanta Deptuła, określiły jednoznacznie teren między ulicą Senatorską a ulicą Dworną, w okolicach szkoły, jako miejsce, na którym wznosił się zamek. Podczas badań częściowo odsłonięto róg budynku wykonanego z cegły datowanej na początek XV wieku, fundamenty drugiego domu oraz liczne znaleziska. Wyniki tych badań pozwalają przypuszczać, że zamek został zbudowany na początku XV wieku.