Osada u podnóża Chełmca istniała już przeszło 700 lat temu. Dawna posiadłość Schaffgotschów i Piastów, wzmiankowana została po raz pierwszy w 1305. W „Księdze uposażeń biskupstwa wrocławskiego” (Liber fundationis episcopatus Vratislaviensis) sporządzonej w końcu XIII lub na początku XIV wieku przyszła dzielnica Wałbrzycha figuruje jako „Albus Lapis alias Wissenstein” W 1648 kupili ją Czettritzowie, zaś w 1838 roku została zakupiona od zadłużonych Czetrittzów przez ród Hochbergów. Początkowo nazwę miejscowości pisano „Weißenstein”, w końcu skróć nazwę na „Weißstein” i tak zostało do 1945 roku. W Polsce do 1950 samodzielne miastoRobert Krzysztofik: Lokacje miejskie na obszarze Polski. Dokumentacja geograficzno-historyczna (2007) – Rozporządzenie Rady Ministrów z dnia 14 grudnia 1950 r. w sprawie zmiany granic miast Wałbrzycha i Wrocławia, od 1951 dzielnica Wałbrzycha, graniczące z miastami Boguszów-Gorce i Szczawno-Zdrój, dzielnicami (niegdyś również osobnymi miejscowościami): Sobięcin, Stary Zdrój, Konradów i Nowe Miasto (sąsiadowała do 1953). Do 1945 na terenie osobnej gminy Biały Kamień funkcjonowała parafia ewangelicka. Pozostałościami po niej jest teren parku, przy ul. Ludowej (dawny cmentarz wraz z kaplicą, obecnie własność POD Zagłębie) oraz budynki dawnej parafii przy głównej ulicy.