W 1750 roku zamek został przejęty przez Jacques-Donatien Le Raya który wykupił zamek jako swoją letnią rezydencję położona niedaleko jego fabryki garnków. W celu uzyskania widoku na dolinę Loary z dziedzińca zamku, kazał zburzyć jego północne skrzydło i przylegające krużganki. Zbudował nową klatkę schodową w skrzydle południowym. Le Ray był miłośnikiem Ameryki oraz zwolennikiem rewolucji amerykańskiej. Jego gośćmi na zamku byli liczni członkowie armii rewolucyjnej w tym m.in. Benjamin Franklin.
Po śmierci Le Reya zamek kilka razy zmieniał swojego lokatora. W 1810 roku zamek bierze w dzierżawę Madame de Staël na banicji, podczas gdy syn Reya bawi w Stanach Zjednoczonych. Następnie zamek przechodzi w ręce pewnego baska, Etchegegoyen, a po nim le Comte d'Aramon. Marie-Charlotte Say wpada w posiadanie zamku w 1875 roku. A w następnym roku Say wychodzi za mąż za prawnuka Madame de Staël, księcia Amedée de Broglie, który wykupił zamek. Rodzina de Broglie posiadała zamek do roku 1938, kiedy zamek w Chaumont przeszedł w ręce rządu francuskiego.