Dalszy rozwój osady opierał się prawie wyłącznie na silnie rozwiniętym handlu, rzemiośle (głównie sukiennictwo, płóciennictwo, piwowarstwo). Na początku XIV wieku istniała tu cegielnia, pojawiły się na obecnej starówce pierwsze murowane kamienice, a najważniejsze ulice pokryto kostką granitową. W latach 1342–1344 wzniesiono nowy murowany ratusz. Już na początku XIV wieku otwarto pierwszą szkołę parafialną, a w połowie tego samego stulecia do miasta sprowadzono zakon augustianów, którzy zbudowali potężny kompleks na Górze Fortecznej, składający się z klasztoru i Kościoła Zwiastowania Najświętszej Maryi PannySłownik geografii turystycznej Sudetów, pod red. M. Staffa, t. 15, Wrocław 1994, s. 197–198..
Wiek XV przyniósł znaczne zniszczenie miasta i zahamowanie jego rozwoju, co spowodowane było wojnami husyckimi, powodziami (1454, 1475) i pożaramiK. Marcinek, W. Prorok, Ziemia Kłodzka. Informator turystyczny, s. 9..