Historia Zamek wybudowano na miejscu wcześniejszego grodu granicznego, usytuowanego na półwyspie wysuniętym w Jezioro Zamkowe, przy szlaku handlowym wiodącym z Polski na Pomorze i do Pomezanii. Niewykluczone, że istniała tu murowana warownia książąt pomorskichhttp://www.zamki.pl/?idzamku=nowyj dostęp 18-06-2018. Gród był siedzibą kasztelana serockiego, którego po raz pierwszy wymieniono w 1264 roku, w dokumencie księcia pomorskiego Mestwina II.
W 1305 roku Serock z obronnym grodem otrzymał Piotr z Nowego od króla Wacława II jako zastaw za 200 grzywien, natomiast król Wacław III dał mu miejscowość na własność. W 1306 wyrokiem sądu posiadłość otrzymał biskup Gerward. Nie jest pewne, czy po zajęciu przez krzyżaków w 1309 roku Pomorza, Jasiniec dostał się w ich ręce, lecz w 1349 roku podczas pertraktacji granicznych z Kazimierzem Wielkim, krzyżacy wymusili pozostawienie go po stronie krzyżackiej. Jasiniec został włączony do komturii w Świeciu i stał się siedzibą włodarza (1390- Johan Beckfe, 1426- Nicole, 1433- Jacob). Żaden dokument z XIII i XIV w. nie wyjaśnia, kiedy rozpoczęto i jak przebiegała rozbudowa zamku jasinieckiego. Według Stanisława Kujota („Dzieje Prus Królewskich do r. 1309”.