Po śmierci Witolda Nowickiego w 1955 majątek stał się własnością jego córki Zofii, która próbowała przez kilka lat samodzielnie gospodarować majątkiem, jednak było to ponad jej siły. Dworek wynajął i tworzył w nim pisarz Zbigniew Nienacki. W 1977 roku majątek został zakupiony przez ZSM Polmo. Już wtedy dwór znajdował się w złym stanie technicznym i Polmo mimo obietnic nie zrobiło nic, aby zapobiec dalszej dewastacji budynku. Planów było wiele, m.in. budowa ośrodka wypoczynkowego, jednak żaden z nich nie został zrealizowany. Pojedyncze pomieszczenia w dworze wynajęto rodzinom z Parcic. Stylowe piece kaflowe zostały rozebrane i w częściach sprzedane (część została odzyskana przez Muzeum w Wieluniu, obecnie 2 piece znajdują się w Muzeum Wnętrz Dworskich w Ożarowie, lecz ich wygląd odbiega nieco od oryginałów), cały majątek, który znajdował się w dworze był stopniowo rozkradany. W 1989 roku majątek od Gminy Czastary (która stała się pełnoprawnym właścicielem dworu po nieodpłatnym przekazaniu go Skarbowi Państwa przez Polmo), kupiła Krystyna Gancarczyk-Hjorth. Jednym z warunków kupna było podjęcie się odbudowy dworu, niestety właścicielka w 1991 rozpoczęła „budowę”, która doprowadziła do ostatecznej ruiny całego majątku.