Część historyków identyfikuje fortecę jako cytadelę pobliskiego miasta krzyżowców – Banjas, wzmiankowaną w kronikach z XII w. W 1129 roku sekta asasynów oddała Banjas królowi Baldwinowi II, który powierzył miasto Rejnierowi z Brus. Rejnier zdecydował się na zbudowanie fortecy, mimo że nie miała ona wpływu na bezpieczeństwo miasta. W 1132 roku miasto zdobyli Damasceńczycy, ale już pięć lat później utracili je na korzyść Zengiego, atabega Mosulu i Aleppo, zdecydowanego zostać władcą Damaszku. Ponieważ stanowił on zagrożenie także dla krzyżowców, dlatego 1139 roku połączone siły krzyżowców i Damasceńczyków odbiły miasto. W 1154 roku do zamku przybyli Joannici, którzy rozbudowali fortecę. Jesienią 1164 roku nastąpił atak Nur ad-Dina, który kilka lat wcześniej przejął władzę nad Damaszkiem. Twierdza Nimrod nie miała wystarczających sił zbrojnych, aby powstrzymać atak i uległ w walce. Twierdza w następnych latach została umocniona. Dwie próby odbicia twierdzy Nimrod przez krzyżowców w latach 1174 i 1253 nie udały się.