Całość fortyfikacji wzmocniono siedmioma wieżami obronnymi o wysokości 24 m.

W 1168 roku zamek został sprzedany templariuszom. Szacuje się, że stały garnizon liczył około 80 rycerzy, z których każdy miał co najmniej 50 podwładnych i rzemieślników. Razem z najemnikami, załoga zamku w czasach pokoju mogła liczyć 1,7 tys. zbrojnych, którą podczas wojny zwiększano do co najmniej 2,2 tys. ludzi.

Z rozwoju miasta skorzystali także Żydzi. Safed był centrum życia żydowskiego w Galilei. W 1216 roku zamieszkał tutaj żydowski poeta i rabin Jehuda Alharizi. Odbywały się tutaj spotkania Jesziwat Ziemi Izraela, na których było obecnych wielu rabinów.

W 1188 roku Safed został zdobyty przez muzułmańską armię sułtana Saladyna.

W 1240 roku król Nawarry Tybald IV zorganizował własną wyprawę krzyżową, podczas której odzyskał większość Galilei. Odbudowano wówczas zniszczony zamek Safed.

W dniu 25 lipca 1266 roku sułtan Bajbars zdobył Safed i wymordował załogę templariuszy oraz mieszkających w mieście Żydów. Osada została przekształcona w muzułmańskie miasto Safad. Było ono stolicą dzielnicy Cafd - rozciągało się od miasta Dżanin na południu do rzeki Litani na północy.