Najwcześniejsze historyczne relacje na temat tego miejsca pochodzą z XII wieku, kiedy znalazło się ono pod opieką miejscowego klasztoru benedyktynów. Z tego czasu pochodzą liczne wykute i powiększone jamy i jaskinie, pełniące rolę pustelni i miejsca odosobnienia dla chrześcijan. Zgodnie z tymi zapisami miejsce to należało w XI wieku do miejscowego szlachcica, właściciela znacznych obszarów leśnych między Horn i Kohlstaätt. W następnych wiekach obiekt należał do Kościoła, później do suwerenów von Lippe. W 1645 roku wielki książę Florencji chciał nabyć to miejsce (notabene popadające w ruinę) za pokaźną sumę 60 tys. koron i 4 tysiące talarów. Oferta ożywiła zainteresowanie aktualnego właściciela. Książę Adolf von Lippe wybudował w Externsteine coś na kształt warowni, wzbogacając same skały dodatkowymi elementami architektonicznymi. Kaprys ten nie zyskał akceptacji potomków Adolfa i znów miejsce to popadło w zapomnienie. W czasach panowania księżniczki Pauliny (1802–1820) miejsce poddano zabiegom konserwacyjnym. W 1836 roku, w odpowiedzi na romantyczne zapotrzebowanie, część obszaru zalano wodą, tworząc malownicze jezioro. Zostało ono zniszczone w latach 30. XX wieku, a następnie odrestaurowane po II wojnie światowej.