W odwet książęta Przemysł I wspólnie z księciem Kazimierzem I kujawskim wyprawili się na początku zimy 1255/1256 i najechali na ziemie podległe Świętopełkowi I, zdobywając gród w Raciążu. „Kronika Wielkopolska” poświadcza, że nacierający podpalili gród, a „Rocznik kapituły poznańskiej” podaje, że w ręce księcia Przemysła dostał się kasztelan Sokół, wojski i chorąży. Gród jednak niedługo potem odbudowano. Na terenie grodu znajdowała się murowana romańska wieża, w której prawdopodobnie więziony był w 1269 roku książę Mściwój II przez brata Warcisława II i stryja Sambora IIM.Kowalczyk, Raciąż-średniowieczny gród i kasztelania, Łódź 1986, s. 134..

Po książętach pomorskich Raciąż stał się własnością Piotra Święcy, razem z Bysławiem i Cekcynem oraz z grodem w Nowem. W 1313 roku Piotr Święca oddał Krzyżakom gród Nowe z okolicami. W latach 1325–1330 w ręce zakonu przeszła także Tuchola i okolice, przez którą przeprowadzono nowy szlak handlowy. W roku 1325 nadał Piotr Święca karczmę karczmarzowi z Raciąża – Wawrzyńcowi Walce. W 1349 roku nastąpiła lokacja wsi chłopskiej na prawie chełmińskim.