Kamień-Grzyb powstał z tzw. fliszu karpackiego – osadu żwiru, piasku i mułu na dnie morza, przynoszonego przez rzeki. Było to ponad 60 mln lat temu. Później prądy wodne przesunęły go kilkaset kilometrów na północ, a ruchy górotwórcze wypiętrzyły je tworząc Karpaty. Skałki Kamienia-Grzyba powstały w wyniku późniejszych ruchów osuwiskowych po zboczach gór (bloki piaskowców ślizgały się po plastycznych, znajdujących się pod nimi warstwach łupków). Przewężony u dołu kształt skały, przypominający grzyba powstał wskutek tego, że w dolnej jego części występowały bardziej podatne na wietrzenie piaskowce. Również występujące na powierzchni głazów niewielkie jamki, tzw. struktury arkadowe i struktury plastrowe, to miejsca, gdzie występowały łatwiej wietrzejące piaskowce. Piaskowiec istebniański, z którego zbudowane są głazy, zawiera w swoim składzie zlepieńce utworzone z otoczaków kwarcu i innych skał, oraz cienkie warstwy łupków.
Przy skale znajduje się duża, trójkątna płyta kamienna. Na płycie oraz czapie grzyba wyryto kilka łacińskich imion i dat.