Pustelnik mały|Serafin karmi niedźwiedzia. Fragment litografii Droga do Sarowa (Путь в Саров), 1903. Po śmierci igumena Pachomiusza poprosił jego następcę Izajasza o pozwolenie na opuszczenie monasteru i zamieszkanie w całkowitym odosobnieniu w pustelni leśnej, 5 km od monasteru. Przełożony monasteru zgodził się na to, według niektórych źródeł ten zamiar Serafina pobłogosławił jeszcze przed śmiercią także igumen Pachomiusz. Według prawosławnej tradycji, Serafin miał w tym czasie osiągnąć całkowitą harmonię z naturą, przyjaźniąc się z niedźwiedziami, a cały czas spędzając na modlitwie i pracach ręcznych. Pustelnik miał być dodatkowo kuszony przez złe moce. Aby odeprzeć ich wpływ, Serafin narzucał sobie wyczerpujące ćwiczenia duchowe, np. odmawianie Modlitwy Jezusowej, klęcząc na kamieniu, co robił co noc. Zdaniem ks. Kołogriwowa modlitwa na kamieniu miała charakter podobny do ascezy wczesnochrześcijańskich stylitów. Żywił się jedynie chlebem i warzywami, które sam uprawiał. Życie prowadził według reguły św. Pachomiusza – zawsze skromnie ubrany. W tym czasie został również napadnięty przez nieznanych sprawców, którzy dotkliwie go pobili, licząc na odnalezienie w jego pustelni pieniędzy. Według niektórych źródeł wydarzenie to miało mieć miejsce 12 września 1804.