Pierwsza wzmianka o wsi pochodzi z 1579 z akt grodzkich, gdzie jako właścicieli Żelazowej Woli wymieniono Mikołaja i Piotra Żelazo. Pod koniec XVIII w. właścicielami byli Łuszczewscy herbu Pierzchała, a następnie Paproccy herbu Ogończyk. Od tych ostatnich w 1802 wieś zakupiła rodzina hrabiów Skarbków herbu Abdank (Kacper i Ludwika) i zamieszkała we dworze z dwiema oficynami (obecny „dworek” to wschodnia oficyna). Guwernerem ich dzieci był Mikołaj Chopin.

1 marca (lub 22 lutego) 1810 urodził się tutaj Fryderyk Chopin jako drugie dziecko Mikołaja i Justyny z Krzyżanowskich. Rodzina Chopinów mieszkała w lewej oficynie dworu do 1 października 1810, kiedy to przeniosła się na stałe do Warszawy. Warunki mieszkaniowe w oficynach były dość ciężkie ze względu na bardzo niski standard wykończenia budynku;