Miejsce to, obecnie pole uprawne, nazywane jest w Chamsku żarki.
Ze wsi wywodzi się szlachecki ród Chamskich, którzy w czasach późnego średniowiecza piastowali wiele ważnych urządów na ziemiach północnego Mazowsza. Byli znaczącymi feudałami na średniowiecznym Mazowszu, związanymi z dworem księcia Janusza Ι i Ziemowita ΙV.
W 1410 r. w Chamsku przebywał król Władysław Jagiełło. Według tradycji zatrzymał się w miejscowym kościele na modlitwę, a następnie przez Olszewo podążył pod Grunwald.
W XVI w. istniał tu, opisany przez Święcickiego, okazały dwór obronny Chamskich. Przedstawiciel rodu, Ścibor Chamski, starając się o prawa miejskie dla Chamska, wyznaczył mu ulice w układzie miejskim. Chamsk jednak pozostał wsią, a prawa miejskie otrzymało w 1520 r. od króla Zygmunta Starego Poniatowo, ponieważ było ono także w posiadaniu Ścibora Chamskiego. Nadał on miastu swój herb – Jastrzębiec.
Od 1863 r. właścicielami pałacu i majątku byli Bergowie, spokrewnieni z finansistami warszawskimi o tym samym nazwisku. Jak podają publikacje historyczne, w pałacu gościł Henryk Sienkiewicz przed napisaniem "Krzyżaków" oraz wielu znanych przedstawicieli finansjery, także aktorów, głównie z Warszawy, którzy przyjeżdżali tu na bale oraz polowania na kaczki.