Razem z takimi klasztorami jak Guoqing, Yuquan i Qixia były kolektywnie nazywane Wielką Czwórką i wychwalane jako Cztery Cuda Świata.
Klasztor był wielokrotnie odnawiany i rozbudowywany, szczególnie w okresie dynastii Ming (1368-1644) i dynastii Qing (1644-1911), i wtedy osiągnął współczesne rozmiary.
Klasztor ten od dawna przyciągał pielgrzymów, artystów, poetów i uczonych. Cesarz Qianlong (pan. 1735-1796) odwiedzał go ośmiokrotnie, zostawiając wiersze wykaligrafowane własnoręcznie. Wang Shizen intelektualista i uczony z okresu Ming po wizycie w klasztorze napisał: "Twoja wizyta na górze Tai nie będzie kompletna jeśli nie przyjdziesz do klasztoru Lingyan".
Obecnie klasztor składa się z 36 budynków i 18 pawilonów.
Wokół klasztoru znajdują się wzgórza, z których wypływają źródła i na których znajdują się ciekawe skały.