W 1261 miasto zostało zakupione przez zakon szpitalników od rodziny Ibelinów. Gdy w 1265 roku pobliska Cezarea dostaje się w ręce sułtana Bajbarsa (1260-1277), kolejnym celem armii muzułmańskiej stała się położona na południe Apollonia. Miasto poddało się po 40-dniowym oblężeniu. Wojska Bajbarsa wypełniły drewnianymi belkami fosę opasującą mury miasta, co umożliwiło podprowadzenie maszyn oblężniczych i ostateczne zwycięstwo. Odnaleziono także jeden z tunelów wydrążonych przez atakujących pod murami miasta. Sam zamek pozostał niezdobyty. Garnizon ostatecznie jednak skapitulował gdy zostało mu zagwarantowane prawo wolnego przejścia. Bajbars nie dotrzymał danego słowa i wszyscy rycerze-zakonnicy trafili do Kairu, gdzie zostali sprzedani do niewoli. Bajbars nakazał dokładne zniszczenie murów obronnych oraz zamku w obawie przed powrotem krzyżowców. Po tych wydarzeniach miasto nigdy nie powróciło już do dawnej świetności i znaczenia przekształcając się w nieznaczącą osadę wiejską. Sam zamek nigdy już nie został odbudowany.