Musiał się wyprowadzić z powodu konfliktu z właścicielką terenu, która żądała od niego ponoć niebotycznej sumy za dzierżawę, pobierała też opłaty od turystów. W drugiej połowie lat 90. XX wieku próbowała w pustelni zamieszkać zakonnica, ale również musiała zrezygnować z powodu konfliktu z właścicielką.
Diabli Kamień znajduje się w Krzesławicach na przysiółku Smykań w gminie Raciechowice. Jednak we wszystkich dotychczasowych przewodnikach kamień ten kojarzony był z miejscowością Szczyrzyc w gminie Jodłownik, zapewne dlatego, że pustelnik związany był z klasztorem w Szczyrzycu. Od czasu wyprowadzenia się pustelnika kapliczka i pustelnia znajdujące się na prywatnym terenie niszczeją. Gminy Raciechowice i Jodłownik czynią starania o przejęcie terenu, by móc właściwie konserwować te obiekty. Wszystko to są obiekty drewniane, wybudowane w 1886 staraniem pustelnika Antoniego Rapa. Prowadzi obok nich małopolski szlak architektury drewnianej.