Następnie poszczególne części wsi przechodziły kolejno na von Reibnizów, von Nimtschów, von Rosenbuschów, Scholzów, hrabiów von Stillfried-Rattonitzów, von Sprengerów, rodzinę Kramst.
Istnieje hipoteza, zgodnie z którą zakrystia obecnego kościoła była w XIII w. kapliczką górniczą, rozbudowaną w późniejszym okresie przez templariuszy. To właśnie temu zakonowi przypisuje się wzniesienie zamku w Lipie i założenie najstarszej we wsi kopalni Elisabeth. We wsi wydobywano bowiem kamień budowlany, a próbowano wydobywać hematyt, rudę miedzi (rejon Żeleźniaka i Radzimowic), żelazo, uran, złoto i srebro. W literaturze pojawia się określenie Złote Jamy, mogące potwierdzać występowanie w tym rejonie złota. Wieś otrzymała prawo osady gwareckiej. Wieś związane jest też z wydobyciem wapienia, w okolicy znajdują się pozostałości pieców do jego wypalania.
Od XVIII w. we wsi znajdowały się dwa kościoły, dwie szkoły wyznaniowe i dwie plebanie.
Wieś dwa razy niszczyły przechodzące wojska – podczas wojny trzydziestoletniej i podczas wojen napoleońskich (w 1813 r.).
W XIX w. we wsi znajdowało się około 240 domów. Przed II wojną światową we wsi były zlokalizowane trzy folwarki i dwa pałace z parkami. W części tych dóbr znajdowały się później dwa PGR-y.