Na podstawie badań archeologicznych uważa się, że prace wydobywcze mogły być tu prowadzone nawet 2000 lat wcześniej.

Wydobycie rozpoczęło się od złóż “Altes Lager”, odkrytych na powierzchni przez procesy erozyjne. Złoża “Neues Lager” zostały odkryte dopiero w XIX w. W Rammelsberg wydobywano głównie galenit, chalkopiryt, sfaleryt i baryt. Z rud tych otrzymywano srebro, ołów, miedź, cynk oraz złoto (od XVIII w.) Wydobycie i sprzedaż surowców przyczyniło się do szybkiego rozwoju i bogactwa miasta Goslar w okresie średniowiecza. Kopalnie należały początkowo do cesarza. Henryk II (973-1024) przeniósł jeden ze swoich pałaców (niem. Königspfalz) z Werli do Goslaru, by móc lepiej kontrolować produkcję srebra. Następnie kopalnie przeszły w posiadanie miasta Goslar. W XVI w. na mocy umowy z Riechenberg właścicielami Rammelsberga stali się książęta brunszwiccy, którzy zarządzali kopalnią aż do 1866, kiedy to Rammelsberg przeszedł w ręce Prus.

Kopalnia została znacznie rozbudowana przez narodowych socjalistów. W 1936-37 w ramach tzw.