Obecnie istniejąca rezydencja została wzniesiona w latach 1687–1696 według projektu dla (praprawnuka wyż. wspomnianego Williama), który w 1694 roku jako pierwszy w rodzinie uzyskał dziedziczny tytuł księcia Devonshire. Rozbudowana następnie przez (1704–1707), a w późniejszych latach przez kolejnych architektów, w tym (1756–1760), (lata 80. XVIII w.) i (1820–1842). W pierwotnym kształcie reprezentowała styl barokowy, późniejsze modyfikacje wpisują się w nurt neoklasycyzmu.

Wnętrza zdobią plafony w wykonaniu , Jamesa Thornhilla i , meble projektu Williama Kenta, rzeźby dłuta i Antonia Canovy, obrazy Rembrandta, Fransa Halsa, Antoona van Dycka, Jacopa Tintoretto oraz Petera Lely’ego. W XIX i XX wieku wystrój uzupełniły obrazy Edwina Landseera, Johna Singera Sargenta i Luciana Freuda, rzeźby .

W projekt ogrodów formalnych w latach 1688–1703 zaangażowani byli oraz . W drugiej połowie XVIII wieku ogrody przeprojektował , a w XIX wieku Joseph Paxton.

W latach 1836–1840 Paxton we współpracy z wzniósł tutaj wówczas największą w kraju szklarnię, mieszczącą ogród tropikalny.