W 1428 roku w pobliżu Zagórza miała miejsce bitwa pod Czerwoną Górą stoczona między husytami a obozem antyhusyckim na czele z księciem ziębickim Janem, która zakończyła się klęską jego oddziałów i śmiercią władcy. Dla jego upamiętnienia ufundowano mauzoleum w pobliżu domniemanego miejsca jego śmierciA i A. Galasowie, Dzieje Śląska w datach, Wrocław 2001.. Według źródeł z 1456 roku młynarzem był Merin Pabel. Wieś nie była jednak nigdy duża, ograniczała się właściwie do zagrody młynarza.
Pomimo że znajdowała się w pobliżu Kłodzka, w 1549 roku odnotowano, iż należała do parafii w Krosnowicach, a jeden gospodarz w 1575 roku płacił podatki kościołowi parafialnemu w Starym Wielisławiu. Od 27 lipca 1626 roku wieś stała się własnością kolegium jezuitów w KłodzkuSłownik geografii turystycznej Sudetów, op. cit., s. 511..