W pierwszym roku pobytu krzyżowców w Palestynie, 1099, miasto oparło się atakowi armii dowodzonej przez Gotfryda z Bouillon. Przyczyną porażki krzyżowców był brak wsparcia ze strony floty, która mogłaby blokować dostawy żywności dla oblężonych. Ponowna próba zdobycia miasta, przeprowadzona wiosną 1101 roku, tym razem pod wodzą króla jerozolimskiego Baldwina I oraz przy wsparciu floty genueńskiej, zakończyła się sukcesem. Miasto, pod wpływem języka francuskiego, zyskuje nową nazwę Arsur. Krzyżowcy przebudowali mury miasta oraz wznieśli na jego północno-zachodnim krańcu zamek. Nowe mury miasta, wykonane z dobrze przyciętych bloków skalnych spojonych cementem, miały 2,2 m szerokości i otoczone były fosą szeroką na 9 metrów. Do miasta prowadziła tylko jedna brama o szerokości 2,2 m z podnoszonym drewnianym mostem. Skierowana była na wschód. Broniły jej dwie półkoliste wieże wysunięte przed lico murów. Średnica każdej z nich wynosiła 4,4 m. W wyniku przegranej bitwy pod Rogami Hittinu (3-4 lipca 1187) miasto i zamek przeszły w ręce Saladyna (sierpień 1187). Jednakże już cztery lata później, ponownie wróciły do krzyżowców za sprawą zwycięskiej bitwy stoczonej na pobliskiej nadmorskiej równinie nieopodal miasta, a dowodzonej przez Ryszarda Lwie Serce i znanej jako bitwa pod Arsuf (7 września 1191).