Klasztor został zniszczony w czasie najazdu mongolskiego w 1241. Okres kolejnych dwóch wieków historii monasteru jest niemal całkowicie nieznany z powodu braku wzmianek o nim w źródłachSwiatohorśkyj..., s.3. W czasie walk polsko-litewskich na Wołyniu kilkakrotnie zmieniał przynależność państwową. Po 1440 znalazł się na terenach nadanych przez Kazimierza Jagiellończyka Świdrygielle. Ten ostatni w testamencie wskazał szlachcica Niemirę jako spadkobiercę m.in. wsi Zimno. Po śmierci Niemiry opiekę nad wsią przejęła jego matka Anna. Monaster otrzymał wówczas na własność wieś Markiw Staw, co miało zapewnić mu środki na utrzymanie. Kolejnym właścicielem Zimnego została rodzina Czartoryskich.
Opieka Czartoryskich nad klasztorem mały|Dzwon eksponowany na dziedzińcu monasteru w Zimnem, ufundowany przez Aleksandra Czartoryskiego W 1495 Fiodor Michałowicz Czartoryski ufundował dla monasteru nowy sobór, który stanął na miejscu wcześniejszej, drewnianej cerkwi. Arystokrata ufortyfikował również wzgórze, na którym znajdował się klasztor, otaczając kompleks jego zabudowań murami z basztami w narożnikach. Sobór miał stać się miejscem pochówku kolejnych zmarłych z rodziny fundatora. Czartoryscy otworzyli również przy monasterze szkołę i drukarnię.