W mieście znajduje się zamek krzyżowców, który został zbudowany w połowie XII wieku przez Payena le Bouteiller, lennika Królestwa Jerozolimskiego. Stanowił on fragment fortyfikacji pomiędzy Akabą a Turcją. W 1188 roku, po ośmiu miesiącach oblężenia, został zdobyty przez wojska Saladyna. Pod koniec XIII wieku mamelucki sułtan Bajbars rozbudował umocnienia, ale później trzy wieże zostały zniszczone podczas trzęsienia ziemi.
Kerak najbardziej jest znany z zamku krzyżowców, w historii służył jako twierdza Moabitów, a uważa się, że chrześcijanie zamieszkiwali ten obszar na długo przed krzyżowcami. To otoczone murem miasto było wymieniane w Biblii i umieszczone na mozaikowej mapie w Madabie. W 1142 r. lord Pagan Butler przeniósł swoją siedzibę z ash-Shaobak (Montreal) do Kerak. Wzniósł zamek w tym miejscu, a jego następcy dobudowali wieże i fosę.
Potęga i lokalizacja zamku krzyżowców uczyniła zeń jedną z najważniejszych twierdz obronnych wschodniego skrzydła Królestwa Jerozolimskiego. Ten strategiczny zamek jest otoczony klifami z trzech stron.