Najstarszy wał obronny został wzniesiony przez Portugalczyków i obejmował jedynie stronę lądową fortu, nie sięgając jego wybrzeża. Od strony morza zastosowano jedynie drewnianą palisadę. Głównym celem tych umocnień była ochrona miasta przed atakami ze strony lokalnych władców syngaleskich. mały|lewo|Fort Galle około 1672 roku
Panowanie Holendrów W XVII wieku fort został przejęty przez Holendrów, którzy w trakcie swojej kampanii wschodnioindyjskiej, działając we współpracy z królem . W 1640 roku armia składająca się z 12 holenderskich okrętów i 2000 żołnierzy przeprowadziła atak na portugalską twierdzę w Galle. Po krótkiej, lecz intensywnej bitwie, Holendrom udało się przełamać umocnienia i zdobyć kontrolę nad fortem. W wyniku walki wielu Portugalczyków zostało wziętych do niewoli. W tym okresie rywalizujące imperia kolonialne: Brytyjczycy, Francuzi, Duńczycy, Hiszpanie i Portugalczycy, starały się o dominację na oceanie, co skłoniło Holendrów do wzmocnienia umocnień fortu zarówno od strony lądowej, jak i morskiej. Port w Galle zyskał również na znaczeniu strategicznym. Holendrzy rozszerzyli mury fortu oraz wznieśli trzy bastiony, które otrzymały nazwy: Sun (Słońce), Moon (Księżyc) oraz Star (Gwiazda). Fort w tym czasie zyskał również typowy holenderski układ urbanistyczny ulic.