Został on wzniesiony w okresie panowania Bizancjum, a następnie odrestaurowany i powiększony w VI wieku. Z okresu tego pochodzi wiele odnalezionej ceramiki, a także cztery duże piece ceramiczne. Wydaje się, że Nabi Samuil była wówczas ważnym ośrodkiem garncarstwa i ceramiki. Od tego czasu miejsce jest celem pielgrzymek chrześcijan, muzułmanów i Żydów. Gdy w 1099 roku Krzyżowcy podbili Palestynę, z tutejszego wzgórza po raz pierwszy ujrzeli Jerozolimę. Z tego powodu miejsce to nazwali Szczęśliwa Góra. Następnie wznieśli tutaj obronny zamek Mont de Joie, który ochraniał Jerozolimę od północy. Budowa zamku przebiegała etapami, co znajduje swoje odzwierciedlenie w kolejnych warstwach archeologicznych. Wokół zamku wykopano szeroką i głęboką fosę. W XII wieku żydowski podróżnik Beniamin z Tudeli napisał, że krzyżowcy znaleźli na cmentarzu żydowskim w mieście Ramla kości proroka Samuela i pochowali je w specjalnie wzniesionym w tym celu kościele pod wezwaniem św. Samuela położonym na wzgórzu z widokiem na Jerozolimę. Król jerozolimski Baldwin II powierzył Nabi Samuil Zakonowi Cystersów, którzy wybudowali tutaj klasztor. Następnie, w latach 20. XII wieku przekazali go Zakonowi Norbertan. W latach 1141–1144 utworzyli oni tutaj opactwo, a w 1157 roku wznieśli kościół nad grobem proroka Samuela.