Na początku XV wieku Ustronie należało do Hansa von Tschetterwanga, lecz w 1420 roku już tylko część była w posiadaniu jego córki Jadwigi. Pozostała część znajdowała się w rękach augustianów. Wieś była zamieszkiwana przez ludność słowiańską, o czym świadczą imiona i nazwiska takie jak: Pessko czy Janko. Okresowo Ustronie należały do franciszkanów, np. w 1472 roku. W końcu XV wieku praktycznie cała wieś była własnością augustianów poza wolnym sędziostwem.
thumb|left|240px|Typowa zabudowa Ustronia pochodząca z przełomu XVIII i XIX wieku Przez cały czas zacieśniały się związki Ustronia z Kłodzkiem. W 1575 roku na zboczu Szpitalnej Górki powstała cegielnia, która produkowała głównie na potrzeby kłodzkiego kościoła farnego. W połowie XVII wieku Ustronie zamieszkiwało 9 kmieci i znajdowało się tu 27 gospodarstw. Wojna trzydziestoletnia (1630–1648) nie sprzyjała rozwojowi wsi, która prawdopodobnie w 1597 roku przeszła w posiadanie jezuitów, którzy przejęli majątki po augustianach na mocy decyzji papieża Klemensa VIII.
W 1687 roku południowa część wsi – tzw. Ustronie Górne została włączona do Kłodzka, co związane było z rozbudową twierdzy. Były to zabudowania położone na północ od Przedmieścia Ząbkowickiego.