Był tutaj kościół parafialny, zajęty w XVI w. przez protestantów, który spłonął w 1816. Na jego miejsce w 1848 Czartkowski wystawił kaplicę mszalną z grobowcami familijnymi, w której spoczywały zwłoki Magdaleny z Umińskich Czartkowskiej, córki generała wojsk polskich Jana Nepomucena Umińskiego. Na początku lat 90. XX wieku zburzono kaplicę, a w jej miejsce pobudowano nowy kościół (obecnie filialny, należy do parafii Zwiastowania Pańskiego w Dębem).
W 1656 w lasach kamieńskich miała miejsce potyczka między Szwedami a Polakami, po której pozostały w lesie ślady okopów. . Po osuszeniu bagien, założono w ich miejsce żyzne łąki. Lasy tutejsze są bardzo dobrze utrzymane. W XV, XVI i XVII wieku Kamień należał do Zarembów. W 1912 w Kamieniu założono Ochotniczą Straż Pożarną.
W latach 1954–1972 wieś była siedzibą władz gromady Kamień. W latach 1975–1998 wieś administracyjnie należała do województwa kaliskiego.
Przed 1939 w Kamieniu znajdował się majątek, który według Słownika geograficznego Królestwa Polskiego obejmował oprócz gruntów ornych ponad 1000 hektarów lasów. W latach 1930. majątkiem zarządzał Mieczysław Jałowiecki – agronom, dyplomata, w latach 1919–1920 Delegat Rządu Polskiego w Gdańsku.