Do lat 30. XX w. częścią majątku Szembeków był kamieniołom melafiru na położonym w kierunku zachodnim leśnym wzgórzu Belwender, przejęty następnie przez spółkę Kamieniołomy Poręby w Kwaczale. Wydobyty surowiec posłużył do budowy drogi Kraków–Chełmek.

W czasie II wojny światowej okupanci niemieccy, po wysiedleniu właścicielek, zorganizowali w nim ośrodek wypoczynkowy dla załogi obozu koncentracyjnego Auschwitz-Birkenau. Kamieniołom był eksploatowany przez Niemców, którzy zbudowali kolejkę do anektowanej przez III Rzeszę Okleśnej. W pałacu spalonym z powodu zaprószenia ognia przez żołnierzy sowieckich w styczniu 1945 roku i częściowo rozebranym, znajdowała się biblioteka, archiwum oraz zbiory sztuki. W całości zachowała się jedynie oficyna.

Po 1945 w pałacu mieściło się m.in. prezydium gromadzkiej rady narodowej, izba porodowa, tuczarnia, kółko rolnicze i zakład hodowli zarodowej.