Po śmierci hrabiny w 1852 część mebli w stylu Restauration wędruje do w Lotaryngii (na płd. od Nancy), spadkobiercy odstępują tereny wokół towarzystwu hipicznemu w 1878, które buduje tor wyścigów konnych. Hipodrom staje się miejscem bardzo popularnym Paryżan, którzy docierają tu pociągiem nowo otwartej linii, omnibusem, tramwajem czy fiakrem. Sam budynek silnie uszkodzony w czasie oblężenia Paryża (1870-71) zostaje opuszczony. W czasie wojny budynek zostaje zarekwirowany i przekształcony na szpital wojskowy. Całość posiadłości jest sprzedana przez spadkobierców hrabiny du Cayla firmie (Alstom) w 1917, która dzieli ją na dwie części. Jedna przeznaczona na tereny sportowe i ogródki robotnicze a druga na budowę fabryki sprzętu elektrycznego. W 1928 firma łączy się z Société Alsacienne de Construction Mécanique i przekształca się w Alsthom i do lat 1960 buduje wiele hal produkcyjnych na tych terenach. Do 1933 pałac jest używany jako miejsce przyjęć reprezentacyjnych.