Na początku XIII wieku lordowie marchii oraz książęta i szlachta walijska zbuntowali się przeciwko królowi Janowi. W 1203 roku William de Breos I, który wspierał króla, otrzymał tytuł Lorda Gower oraz zamek. Przez kolejne 40 lat zamek przechodził w ręce nowych, krótko panujących lordów Gower. W 1241 roku panem na zamku został William de Breos II. Przez kolejne pięćdziesiąt lat rządzenia przyczynił się on do znacznej modernizacji budynków i pomieszczeń zamkowych. W latach 80. XIII wieku rozpoczął prace nad „nowym zamkiem” rozbudowując stary: dodano pomieszczenia mieszkalne, wielką salę balową, kwadratową wieżę wraz z pomieszczeniami piwnicznymi. Mury zamku z tego okresu zachowały się do czasów obecnych. W 1297 roku lordem Gower został William de Breos III, który kontynuował rozbudowę i modernizację zamku;