W owym czasie żydowska dzielnica w Safedzie znajdowała się pod kontrolą druzyjskiej dynastii Maan z Libanu. Po śmierci w 1658 roku emira Melhem al-Maani, doszło między jego synami do walki o władzę. Walkę zwyciężył emir Korkmaz al-Maani, ale stracił kontrolę nad obszarem Safedu. W rezultacie Druzowie z Libanu najechali w 1660 roku na Safed. Doszło wówczas do zniszczenia Safedu i pogromu jego mieszkańców. Tylko nieliczni mieszkańcy powrócili później do miasta, a z pewnością w latach 1664-1667 w Safedzie nie było społeczności żydowskiej. Zniszczone miasto zostało jednak szybko odbudowane, a w 1665 roku odwiedził je słynny żydowski kabalista Sabbataj Cwi.
W II połowie XVII wieku liczebność Żydów w Galilei mocno zmalała. W samym Safedzie utrzymywała się zaledwie niewielka wspólnota. Plaga szarańczy, głód i epidemia dżumy zdziesiątkowały w 1742 roku mieszkańców. Większość żydowskich mędrców wyprowadziła się wtedy do Jerozolimy i innych miast. Epidemia szczególnie mocno dotknęła Safed w 1747 roku. Trzęsienie ziemi na Bliskim Wschodzie (1759) zniszczyło miasto, powodując śmierć 200 osób. Społeczność żydowska zmniejszyła się zaledwie do siedmiu rodzin.