zamek był punktem schronienia i oporu mistrza Zakonu Avis podczas inwazji kastylijskiej. Zamek i osada zostały złupione przez flotę kastylijską, powracającą z oblężenia Lizbony.
W 1516 r. kompleks zamkowy znajdował się w stanie zaawansowanej ruiny, a król nakazał zabrać z niego armaty. Źródła z tego okresu wspominają również o istnieniu w obrębie murów obronnych szpitala Ducha Świętego wraz z kaplicą, w której ołtarzu znajdowały się retabla. W 1536 r. ufundowano nowe sołectwo św. Jerzego (Santiago), a mieszkańcy stopniowo przenosili się spod zamku do bardziej atrakcyjnej wioski rybackiej na wybrzeżu.
W 1755 r. w wyniku wielkiego trzęsienia ziemi, które nawiedziło rejon Lizbony, zamek w Sesimbrze, który już wcześniej znajdował się w ruinie, został kompletnie zniszczony i opuszczony.
W XIX w. część dawnego muru zamku została wykorzystana do budowy cmentarza gminnego. W pierwszej połowie XX w. w XVI-wiecznym bastionie i średniowiecznym murze wykonano wyrwę w celu budowy drogi ułatwiającej dostęp podczas uroczystości Matki Boskiej Zamkowej (port. Nossa Senhora do Castelo) i organizacji pogrzebów. W latach 1933-1945 prowadzono różne prace zabezpieczające pozostałości zamku. W 1975 r.