Około 1682 roku właścicielem całości był Jan Orłowski, a w 1713 roku majątek przeszedł na braci Kazimierza i Stanisława Kuczkowskich. W 1789 roku jako dziedziców nadal wymieniano rodzinę Kuczkowskich. Jeden z przedstawicieli tego rodu, Anzelm Wojciech Kuczkowski, posiadał majątek od 1818 roku. Następnie Zaduszniki zmieniały właścicieli drogą sprzedaży w 1827 roku Wojciech Kuczkowski zbył je na rzecz Stefana Paprockiego, ten zaś przekazał je Franciszkowi Zdrojewskiemu.
W 1858 roku dobra nabył Hipolit Dunin-Wąsowicz, który poprzez odziedziczenie Jasienia oraz zakup Wyczałkowa i Kamienia Kmiecego stał się posiadaczem jednego z największych majątków ziemskich na ziemi dobrzyńskiej. W trzeciej ćwierci XIX wieku wzniesiony został tu neoklasycystyczny pałac (dwór), wybudowany najprawdopodobniej z inicjatywy Hipolita Dunin-Wąsowicza. Po jego śmierci w 1876 roku majątek przeszedł w ręce syna, Tomasza Dunin-Wąsowicza, żonatego z Zofią Karnkowską. Małżeństwo miało pięć córek, które w 1919 roku odziedziczyły posiadłość.