mały|lewo|Ruiny klasztoru na drzeworycie z 1876 roku
Lelów otoczony murem obronnym, wewnątrz którego przeważała drewniana zabudowa miejska, często ulegał pożarom. W latach 1455–1547 klasztor wraz z kościołem był niszczony kilkakrotnie. Po pożarze w 1547 roku uległ on sporym zniszczeniom, a mnisi opuścili to miejsce. Przez wiele lat znajdował się w stanie kompletnej ruiny szpecąc okolicę wypalonymi murami, a mieszczanie lelowscy rozważali nawet założenie w tym miejscu szpitala. Odbudowano go dopiero pod koniec XVI wieku. W następnych stuleciach klasztor jeszcze kilkakrotnie popadał w ruinę za sprawą pożarów, a następnie był restaurowany. Na skutek pożaru w 1638 roku spłonął klasztor wraz z kościołem i obrazem Matki Bożej Pocieszenia. Odbudowy podjął się w 1640 roku Jan Giebułtowski, dworzanin króla Władysława IV Wazy, kontynuował ją Jan Szypkowski z Białej ze swoją żoną Izabelą. Jan Gosławski, pan na Bebelnie ufundował wierną kopię wizerunku Matki Bożej. Ikonę umieszczono w kaplicy kościoła. W 1766 roku franciszkanie założyli bractwo Matki Bożej Pocieszenia.