W połowie lat 50. XIV wieku powstał konflikt między biskupstwem kamieńskim a księstwem wołogoskim. Książęta wołogoscy zaczęli scalać ziemie utracone przez swoich poprzedników i żądali zwrotu części terenów. W grudniu 1355 roku doszło do podpisania w Wolinie układu, na podstawie którego sprawa wykupu pozostała dalej otwarta. W kolejnym roku biskup kamieński Jan I uznał zwierzchnictwo książęce. Już po śmierci biskupa, w roku 1372 książęta szczecińscy przejęli władzę nad Kamieniem Pomorskim i całym regionem. Mimo tych zawirowań osiedle katedralne rozwijało się i pod koniec XIV wieku stanowiło około dwudziestu procent całkowitej liczby mieszkańców miasta.
Po śmierci biskupa Filipa von Rehberga w roku 1385 miejscem zamieszkania biskupów kamieńskich aż do czasów reformacji stał się zamek w Karlinie. W roku 1478 teren biskupstwa przeszedł z rąk książąt szczecińskich w skład zjednoczonego Państwa zachodniopomorskiego.