Około 1138 roku król Stefan I nadał posiadłość Gilbertowi de Clare, hrabiemu Pembroke. Jego syn Richard de Clare odziedziczył zamek w 1148 roku. Jemu przypisuje się budowę kamiennego donżonu, będącego najstarszą do dziś zachowaną częścią budowli. Po jego śmierci w 1176 roku zamek przeszedł w posiadanie korony.
Król Jan bez Ziemi nadał zamek w 1204 roku Williamowi Marshalowi, który poślubił córkę Richarda – . William, który rozbudował wcześniej zamki i , prawdopodobnie odpowiadał za budowę muru kurtynowego oraz baszt narożnych. W następstwie śmierci Williama w 1219 roku zamek wielokrotnie przechodził z rąk do rąk, dziedziczony przez jego kolejnych potomków (w tym każdego z jego pięciu synów), aż do 1247 roku, kiedy to przeszedł na własność jego wnuczki . Jeszcze w tym samym roku wyszła ona za mąż za , brata przyrodniego króla Henryka III. Z inicjatywy Williama zamek poddany został gruntownej przebudowie – większa część obecnej budowli pochodzi z tego okresu.