Gród, należący początkowo do księstwa wołyńskiego, około 1319 roku został opanowany przez Litwinów. Oparł się krzyżackim napadom w latach 1373, 1375 i 1379, które spustoszyły ziemię brzeską. W 1382 roku został zajęty przez wojska księcia mazowieckiego Janusza I Starszego, który otrzymał go w wianie od żony Danuty Anny (córki Kiejstuta), lecz już rok później zajął go litewski książę Władysław Jagiełło, po czym wkrótce przekazał Witoldowi Kiejstutowiczowi. W 1390 roku Jagiełło ponownie skutecznie obległ Kamieniec opanowany przez skłóconego z nim Witolda i po jego opanowaniu przekazał go polskiemu rycerzowi Zyndramowi z Maszkowic.
W 1500 roku bezskutecznie atakowała go konnica tatarskiego chana Mengli Gireja. Gródek częściowo został zniszczony podczas wojny polsko-moskiewskiej w latach 1654–1667. Odbudowano go jednak później, bo istniał jeszcze w 1771 roku, a jego resztki przetrwały do początku XIX wieku. Podczas prac restauracyjnych w 1903 roku wokół wieży usypano okrągły wał umocniony kamieniami.
W wieży znajduje się obecnie założone w 1960 roku muzeum krajoznawcze.