Kryzys miast w Polsce i podział Grajewa (od XVI w. używano takiej nazwy) między licznych spadkobierców spowodowały, że w przywileju dla Grajewskich z 1573 r. miejscowość nazwana jest wsią, a w 1581 r. umieszczona w rejestrze wsi. W XVII w., gdy większość działów wykupił Jakub Grajewski, podkomorzy wiski, Grajewo ponownie stało się miastem. Zabudowa ograniczała się do rynku i ulic wylotowych. Grajewscy zapewne postawili w Grajewie murowany dwór obronny, bo w 1604 r. określali swoją rezydencję jako kamienicę. W regestrze pogłównego prowincji wielkopolskiej w 1676 r. w Grajewie płaci podatek Jegomość Pan Jan Grajewski z Jejmość Panią małżonką, chłopiec, dziewka, woźnica, chłopów dwóch z żonami, jeden bez żony oraz Pan Sebastian Żebrowski z żoną i pasterz ze Dwora, natomiast w miasteczku Grajewo: Sławetny stolarz z żoną i innych mieszczan z Burmistrzem obu płci osób 35 oraz dwóch żydów z żonami.
W wyniku małżeństwa Anny, córki Jakuba Grajewskiego, ze Stanisławem Antonim Wilczewskim, w 1692 r. miasto przeszło w posiadanie Wilczewskich.