Zamek wzniesiono najprawdopodobniej w odpowiedzi na niespokojną sytuację w hrabstwie Devon, targanym lokalnymi waśniami nasilonymi podczas Wojny Dwóch Róż, w której Pomeroyowie opowiedzieli się po stronie Yorków.
W 1547 roku posiadłość zakupił Edward Seymour, książę Somersetu, który jako lord protektor (regent) pełnił wówczas rządy w kraju w imieniu swojego małoletniego siostrzeńca, Edwarda VI. Nie wiadomo, czy Seymour kiedykolwiek odwiedził Berry Pomeroy, posiadał bowiem wiele innych rezydencji, a on sam został stracony w 1552 roku. Zamek przeszedł w posiadanie jego najstarszego żyjącego syna, (1529–1593), który podjął się jego rozbudowy, zapoczątkowanej prawdopodobnie około 1562 roku. Wyburzone zostały wewnętrzne zabudowania, w których miejscu powstała rezydencja w .
W 1593 roku posiadłość odziedziczył syn tego ostatniego, (ok. 1563–1613), od 1611 noszący tytuł baroneta. Rozpoczął jej gruntowną przebudowę. Budowana przez niego rezydencja w miała dorównywać najznakomitszym posiadłościom arystokratycznym w kraju, jak Longleat czy Audley End. Ze względu na wyczerpanie funduszy projekt został jednak przerwany około 1610 roku.