W 1325 roku ówczesna właścicielka zamku, (wnuczka Williama) została porwana i uwięziona przez Hugh le Despensera i jego , wpływowych możnowładców blisko związanych z królem Edwardem II. Wymusili oni na niej zrzeczenie się zamku na ich korzyść. Rok później jej świeżo poślubiony mąż zdołał odzyskać zamek w jej imieniu. Ich potomkowie z rodu Talbot (późniejsi hrabiowie Shrewsbury) pozostawali w posiadaniu zamku do początku XVII wieku. Począwszy od XVI wieku zamek był dość sporadycznie zamieszkany – Talbotowie, podobnie jak poprzedzająca go rodzina de Valence, posiadali wiele innych posiadłości na terenie całego kraju.
W 1616 roku zamek przeszedł na własność rodu Grey, noszących dziedziczny tytuł hrabiów, a później książąt Kentu. Nie mieszkali oni jednak na zamku, a oddawali go w dzierżawę.