zainstalował m.in. toalety. Po stracie jedynego syna, William de Breos III próbował uczynić spadkobiercą swoją córkę i jej męża Johna de Mowbraya, a jednocześnie sprzedać tytuł lordowski Hugh Despenserowi. Z tego powodu król Edward II odebrał de Breosowi tytuł Lorda Gower oraz zamek. John de Mowbray po zajęciu siłą zamku, w 1322 roku został stracony. Dopiero po śmierci króla w 1327 roku, do Gower powróciła córka Williama de Breos III, Alina i sprawowała swoje rządy do 1331 roku. Po niej zamek odziedziczył jej syn John. To za jego rządów na murach zamkowych powstał chodnik obronny z blankami. Przez kolejne dziesięciolecia, właściciele zamku rzadko w nim przebywali a opiekę sprawowali ich namiestnicy, którzy wznieśli na zamkowym dziedzińcu budynek zwany Place House.
Podczas wojny dwóch róż trwającej w latach 1455–1485, w murach zamkowych wykuto strzelnice. Jego właścicielem był wówczas lord Herbert z Reglan. Po wojnie domowej, w 1647 Gower przeszedł w ręce Olivera Cromwella. Od tego czasu aż do XX wieku właścicielami zamku pozostawali hrabiowie Worcester, markizi Worcester oraz książęta Beaufort.