W związku z tym gród na Łysej Górze opuszczono i podjęto pod koniec XIV wieku budowę nowej siedziby książęcej na skraju nadrzecznego stromego cypla, na zachód od nowej osady, której książę mazowiecki Siemowit IV nadał w 1382 roku prawa miejskie.
Zamek książęcy Powstała wtedy murowana wieża obronna, jednak nie wiadomo czy jej fundatorem był jeszcze książę mazowiecki Siemowit III czy też jego syn Siemowit IV. Wieża pełniła funkcję obronną i mieszkalną, a otaczały ją drewniane fortyfikacje. Na przełomie XIV i XV wieku wieżę tę rozebrano i przystąpiono do budowy gotyckiego zamku składającego się z muru zbudowanego na planie prostokąta o wymiarach 37 × 38 m, do którego w narożniku północno-wschodnim przylegała kwadratowa wieża o boku 7 metrów. Dziedziniec wypełniała zabudowa drewniana. Od strony północnej zamku znajdowało się otoczone wałem podzamcze (przygródek).