Koszty wzniesienia budynku były tak duże, że Tarło musiał sprzedać 30 wsi ze swoich posiadłości. Wojewoda kazał także wybudować w pobliżu rezydencji niewielki pałacyk, który miał być prezentem imieninowym dla żony. Czartoryska zażyczyła sobie, aby zawieźć ją tam saniami. Pomimo że był to środek lata, Tarło nakazał całą drogę wysypać solą i zaprząc konie do sań. Pałac pozostawał w rękach rodziny Tarłów do 1842 roku, kiedy to dobra piekoszowskie nabył Kazimierz Sosnowski. Już wówczas budynek był zaniedbany, a przez dach przeciekała woda. Około 1860 roku spłonął dach i I piętro, w związku z czym zamieszkiwano jedynie parter. W 1874 roku właścicielem obiektu został Józef Paszkowski, jednak w 1880 roku wyprowadzili się z niego mieszkańcy i budynek powoli zaczęła rozbierać okoliczna ludność. Po 1917 roku rezydencję próbował odbudować kolejny właściciel Romuald Kozłowski, jednak zmarł po zadaszeniu obiektu prowizorycznym dachem i remont przerwano. Po jego śmierci pałac odziedziczyła w 1921 roku rodzina Dobrzańskich, która mieszkała w nim do 1952 roku.