W 1096 r. książę czeski Brzetysław II wzniósł gród warowny na Górze Zamkowej nad Nysą Kłodzką, który następnie powrócił w granice Polski w latach 1105–1107 za panowania Bolesława III Krzywoustego, a ostatecznie na mocy układu polsko-czeskiego z 1137 roku. Pierwsze pisemne wzmianki o miejscowości pojawiają się w kronice czeskiej Kosmasa oraz w kronice Galla Anonima (jako Kamencz).
W początkach XIII w. Kamieniec wraz z okolicznymi wsiami należał do śląskiego rodu Pogorzelów, którzy w 1210 r. ufundowali tu prepozyturę augustianów, którą założył i uposażył biskup wrocławski Wawrzyniec. Jej pierwszym przełożonym został zakonnik Wincenty z Pogorzeli. Fundację wspierał książę Henryk I Brodaty. Po opuszczeniu klasztoru przez Wincentego i związanym z tym kryzysie wspólnoty, w latach 1247–1249 biskup wrocławski Tomasz I przekazał klasztor cystersom z Lubiąża. Przekazanie dóbr potwierdził papież Innocenty IV w 1251 r. Od tego czasu opactwo cysterskie prężnie się rozwijało, stając się centrum rozległych dóbr ziemskich.