Kolejni Seymourowie zamieszkiwali na zamku co najmniej do 1688 roku, nie wznowili jednak przebudowy. Ostatecznie zamek został rozebrany z inicjatywy , który rezydował w w hrabstwie Wiltshire. W 1697 roku odnotowany został jako ruina.
Począwszy od końca XVIII wieku ruiny zamku były licznie odwiedzane przez artystów i turystów. Sprzyjała temu bliskość rozwijających się nieopodal kurortów nadmorskich Torquay i Paignton, a także liczne nawiązania do zamku w literaturze, począwszy od powieści (1806). W wielu utworach pojawiał się motyw nawiedzenia zamku przez duchy, sam zamek zyskał miano „najbardziej nawiedzonego w hrabstwie Devon”.
Ruiny zamku do dziś stanowią własność kolejnych potomków Edwarda Seymoura. Obecnym właścicielem (2025) jest (Seymourowie odzyskali tytuł książęcy w 1750 roku). Obiektem zarządza organizacja English Heritage.
Wiedza na temat historii zamku została poddana rewizji w następstwie badań archeologicznych przeprowadzonych w latach 1980–1996. Uprzednio dominował pogląd, że zamek pochodzi z epoki normańskiej (XI/XII wiek). Również jego przebudowę przypisywano pierwszemu z posiadających go Seymourów (Edwardowi, księciu Somersetu), a więc szacowano ją na lata 1547–1552.