Z roku na rok zadłużenie coraz bardziej rosło, a wierzyciele nie mogąc odzyskać długu w 1721 roku zniszczyli synagogę, zaś jej wyposażenie, tj. zwoje Tory i ławki spalili. Niedługo później przywódcy wspólnoty zostali uwięzieni, zaś wszystkich jerozolimskich Aszkenazyjczyków wygnano z miasta, a ich mienie skonfiskowano. Z biegiem lat na dziedzińcu zbudowano arabskie sklepy, a synagoga pozostała w stanie ruiny. Z tego względu zaczęła być nazywana Ruiną rabina Judy Pobożnego.
Lata 1812–1837: starania Perushimów o odbudowę synagogi Pomiędzy 1808 a 1812 rokiem w Palestynie osiedliła się inna grupa aszkenazyjskich Żydów – pochodzących z Litwy Perushimów, będących uczniami rabina Eliasza ben Salomona Zalmana (Gaona z Wilna). Miejscem ich osiedlenia było położone na północy miasto Safed, lecz niektórzy z nich chcieli zamieszkać w Jerozolimie i odbudować społeczność aszkenazyjską w mieście. Obawiali się jednak, że potomkowie arabskich wierzycieli wciąż trzymają stare weksle dotyczące zadłużenia członków grupy Judy Chasyda i że ich grupa może zostać obarczona odpowiedzialnością za spłatę. Ponadto ich dążeniom do przejęcia kontroli nad ruiną synagogi sprzeciwili się potomkowie Chasydów, którzy dokonali aliji w 1777 roku.