W 1880 roku zabudowania pokamedulskie przejął hrabia Karol Mielżyński, chroniąc je tym samym przed ostateczną rozbiórką. Zaś w 1906 roku teren klasztoru stał się własnością hr. Stanisława Mańkowskiego, który po odzyskaniu niepodległości przez Polskę na własny koszt rozpoczął odbudowę zniszczeń i dzięki jego staraniom kameduli powrócili do eremu w 1937 roku.
W 1932 roku w Bieniszewie została rozebrana drewniana kaplica św. Barnaby (XV lub XVII w.), która była jednym z kilku ważnych miejsc w kulcie Pięciu Braci MęczennikówMarek Graniczny, Historia Kamedułów Bieniszewskich, Kazimierz Biskupi, 2016, s. 36, ISBN 978-83-946325-0-2. W 2003 roku w 1000 rocznicę śmierci męczenników w Bieniszewie miejscowa ludność postawiła głaz upamiętniający nieistniejącą kapliczkęPraca zbiorowa pod redakcją Ryszarda Jałoszyńskiego, Kazimierz Biskupi - Erem Kamedułów w Bieniszewie - Dzieje, duchowość, kultura, świadectwo, 2022, wyd. Gminny Ośrodek Kultury w Kazimierzu Biskupim, s. 167-169, ISBN 978-83-957063-3-2.