W 1834 Michał Skarbek popełnił samobójstwo, a jego rodzina odsprzedała Żelazową Wolę Szubertom. W 1840 dziedzicem Żelazowej Woli stał się baron Eugehard, a wkrótce później rodzina Peszlów. Kolejnym właścicielem w latach 1859–1879 był Adam Towiański. W skład dóbr wchodziły folwarki w Mokasie i Żelazowej Woli oraz wsie Żelazowa Wola, Chodakówek, Budy Żelazowskie i Towiany (obecnie część wsi Mokas). W samej Żelazowej Woli znajdowało się 11 budynków murowanych, 12 drewnianych oraz młyn wodny. Od 1879 dwór pozostawał w rękach Aleksandra Pawłowskiego, który w miejscu urodzenia Chopina urządził magazyn gospodarczy.
W 1894 z inicjatywy rosyjskiego kompozytora Milija Bałakiriewa odsłonięto w parku Pomnik Fryderyka Chopina projektu Bronisława Żochowskiego z medalionem projektu Jana Woydygi. Podczas I wojny światowej spłonęła prawa oficyna dworu. W 1918 majątek Żelazowa Wola rozparcelowano pomiędzy okolicznych chłopów.
W 1928 warszawskie Towarzystwo Przyjaciół Domu Chopina i Komitet Chopinowski z Sochaczewa zakupiły oficynę i 3 ha ziemi wokół budynku za 40 000 zł od Rocha Szymaniaka, który był właścicielem terenu od 1918.