Być może sprawiła to nazbyt gorliwa działalność biskupa, który „niszczył i palił świątynie z posągami bożków i oczyścił morze zamieszkane przez złe duchy, wrzuciwszy w nie cztery kamienie pomazane świętymi olejami i skropiwszy je wodą święconą”. Nawrót pogaństwa zmusił biskupa do ucieczki i opuszczenia diecezji, a Kołobrzeg stracił status stolicy biskupiej na rzecz położonego dalej na zachód Wolina a późnej Kamienia. Słowiański Cholberg odzyskał niezależność, którą cieszył się aż do czasów Bolesława III Krzywoustego. W 1103 umocnienia grodu okazały się zbyt potężne – nie zdołano go opanować mimo zaskoczenia obrońców. Co nie udało się w 1103, zakończyło się sukcesem w 1107 lub 1108 Mieszkańcy w obawie o życie poddali się, a całe Pomorze Środkowe ponownie znalazło się w granicach państwa piastowskiego. Z dumą pisał wówczas o Kołobrzegu Gall Anonim, który uznał je za „miasto sławne”.

Kołobrzeg w XII-XVIII wieku thumb|upright|Baszta Lontowa z XIV wieku – jedna z niewielu pozostałości po średniowiecznym mieście