W kręgach brytyjskiej arystokracji ogrodowi pustelnicy stali się popularni na przełomie XVIII i XIX wieku. Ówczesne źródła zdają się wskazywać, że rodzina Weldów utrzymywała ozdobnego eremitę w specjalnie dlań wybudowanej pustelni na terenie rodowej posiadłości w hrabstwie Dorset. Dla równowagi Weldowie wznieśli również „fortyfikacje“ i „port” po przeciwnej stronie przyzamkowego jeziora. Również niektóre parki Anglii zatrudniały pustelników dla ozdoby.

Ten trend utrzymywał się do lat trzydziestych XIX wieku, kiedy popularność pomysłu zaczęła maleć i pojawiły się nowe koncepcje urządzania parków i otoczenia posiadłości.

Istota koncepcji Nawet w XVIII i XIX wieku ogrodowe pustelnie wydawały się ekscentrycznymi nowinkami. Na popularności zyskały groty, miejsce ucieczki ku medytacjom, odpoczynkowi i przemyśleniom. W świecie postępującej industrializacji kontemplacyjne ogrodowe medytacje zdawały się być ekstrawagancją. Brak wolnego czasu w połączeniu ze wzrostem dochodów, popularność „naturalnego” ogrodnictwa krajobrazowego oraz rozkwit kultury neoklasycyzmu stworzyły warunki, w których idea ogrodowych pustelni zatriumfowała.