Po klęsce krzyżowców w 1187 roku w bitwie pod Hittin, muzułmańska armia sułtana Saladyna zdobyła w 1188 roku zamek Safed. W 1240 roku król Nawarry Tybald IV zorganizował własną wyprawę krzyżową podczas której odzyskał większość Galilei. Odbudowano wówczas zniszczony zamek Safed. W dniu 25 lipca 1266 roku sułtan Bajbars zdobył Safed i wymordował załogę templariuszy oraz mieszkających w mieście Żydów. Pod koniec XIII wieku muzułmanie rozebrali pozostałości zamku krzyżowców. Arabski geograf al-Dimaszqi (który zmarł w 1327 r. w Safedzie) napisał około 1300 roku, że w mieście wybudowano okrągłą wieżę obronną o trzech kondygnacjach. Stanowiła ona główny bastion tutejszej twierdzy. Woda deszczowa była doprowadzana do podziemnej cysterny, a jej ilość wystarczała garnizonowi na rok. Kurdyjski historyk i geograf Abu al-Fida opisał Safed jako „średniej wielkości miasto” z silnie rozbudowanym zamkiem. W takiej formie pozostałości zamku krzyżowców przetrwały przez kolejne wieki. Pierwsze prace archeologiczne rozpoczęła w lipcu 1875 roku brytyjska Fundacja Badań Ziemi Izraela. Prace prowadzone przez kolejne lata odsłoniły trzy ściany murów obronnych zamku. Bardziej zaawansowane wykopaliska rozpoczęto dopiero w 1961 roku.