W 1838 roku wieś zmieniła właściciela – nowym nabywcą został hrabia Ottokar von Zedlitz-Neukirch, który w 1851 roku drogą dziedziczenia dobra czarnoborskie przekazał zięciowi Bernardowi Portatiusowi. W rękach tej rodziny majątek pozostawał aż do roku 1945. Zaraz po wojnie wsi nadano nazwę Czarnolesie. Od 1946 roku wieś nosi obecną nazwę – Czarny Bór.
Zabytki thumb|250px|Kościół Najświętszego Serca Pana Jezusa Do wojewódzkiego rejestru zabytków wpisane są: ruiny zamku gotyckiego zbudowanego prawdopodobnie w 1355 roku – XIV w. przez księcia świdnicko-jaworskiego Bolka II Małego; zachowały się fragmenty murów i kolista baszta z granitu. Nie jest znana dokładna data powstania zamku z powodu braku ścisłych historycznych dokumentów. Jednakże na podstawie analizy wydarzeń historycznych można w przybliżeniu określić czas jego powstania, datując to na przełom XIII i XIV wieku, a nie jak to się podaje w wielu publikacjach – połowa XIV wieku. Strzegł on szlaku handlowego prowadzącego z Czech. Wybudowany został na niewielkim „wzgórzu” otoczonym podmokłymi łąkami. Bagna stanowiły jego naturalną ochronę, dodatkowo wokół zamku była wykonana fosa. W połowie wieku XIV zamek stał się zbójnicką siedzibą. Został on odzyskany zbrojnie przez księcia w 1355 roku, o czym wspomina pierwszy zachowany dokument wspominający o zamku.