W 1852 r. 35-letnia wówczas hrabina Michalina Rzyszczewska z rodu Radziwiłłów, żona Leona Rzyszczewskiego herbu Pobóg, kupiła Żółwin, Kopaną i Grudów. W czerwcu 1853 roku rozpoczęto budowę słynnego pałacu w Żółwinie, według projektu Józefa Bobińskiego, gdy Michalina Rzyszczewska wróciła z podróży do Wenecji. Bardzo często zmieniał on właścicieli. Należał do Eustachego Marylskiego, następnie do rodziny Zielińskich, a później do Szellerów. Od 1930 roku właścicielem majątku był Michał Natanson. W 1940 roku odkupił go Henryk Witaczek, związany z Centralną Doświadczalną Stacją Jedwabniczą w Milanówku. W majątku zaczęto uprawiać morwę, a w końcu powstała duża plantacja, służąca przez wiele lat celom badawczym i doświadczalnym. Pałac w Żółwinie zaś stał się schronieniem dla wielu wygnańców z Kresów Wschodnich, a po upadku powstania warszawskiego – dla warszawiaków. Wśród gości państwa Witaczków było wiele znanych osób, m.in. Maria Dąbrowska, Ewa Szelburg-Zarembina, Ferdynand Ossendowski.
Po wojnie dwór należał do Instytutu Włókien Naturalnych w Poznaniu – Zakładu Badawczego Jedwabiu Naturalnego w Żółwinie. Z biegiem lat jednakże otoczenie i sam dwór stawały się coraz bardziej zaniedbane.