Historia sanktuarium Relikwie (sproszkowany tuf) z Groty Mlecznej trafiały do Europy i do Bizancjum już w VI wieku. Najbardziej znanymi relikwiarzami są: relikwiarz w Oviedo w Hiszpanii z VII w. oraz drugi pikardyjski z VIII wieku, podarowany Karolowi Wielkiemu. Betlejemski biskup Gerard III miał mieć ze sobą relikwiarz z Groty Mlecznej podczas oblężenia Aszkelonu w 1123. Pobieranie tufu praktykowane było do początku XX wieku. Obecnie istnieją próby wskrzeszenia tej praktyki. Przy sanktuarium znajduje się sala, w której eksponowane są fotografie dzieci z całego świata uzdrowionych lub narodzonych dzięki spożyciu proszku i gorącej modlitwie do Matki Bożej z Groty Mlecznej.
Przez ciągłe pobieranie tufu trudno ustalić pierwotną formę i wielkość Groty Mlecznej. Praktyka ta została dokładnie opisana w 1250. Kult maryjny był szczególnie żywy w czasach krzyżowców, nawet do ok. 1349–1353. Sanktuarium ucierpiało z ręki muzułmanów, którzy zburzyli zarówno klasztor jak i wzniesioną nad grotą kaplicę. Kustodia Ziemi Świętej weszła w posiadanie Groty Mlecznej w 1375. W 1494 franciszkanom udało się odrestaurować samą grotę i postawić w środku ołtarz. W XVI wieku część groty się zawaliła podczas trzęsienia ziemi. Biurokracja osmańska i zabiegi greckich mnichów prawosławnych utrudniały jakiekolwiek prace.