Roboty ziemne rozpoczęto 12 września 1899, a linię kolejową oddawano do użytku w kilku etapach: 1 czerwca 1900 – odcinek Dzierżoniów – Pieszyce Górne, 1 października 1900 – przedłużenie do Bielawy, 12 grudnia 1900 – przedłużenie do Srebrnej Góry, 5 sierpnia 1902 – odcinek Srebrna Góra – Ścinawka Średnia, 1 grudnia 1903 – przedłużenie do Radkowa i kamieniołomów (ten 9,5 km odcinek nazwano Heuscheuergebirgsbahn – Koleją Stołowogórską).
Szczególnie trudny w budowie był odcinek między Srebrną Górą a Woliborzem – wymagał m.in. wybudowania wiosną 1901 dwóch ceglanych wiaduktów (żdanowskiego, wys. 23,8 m i srebrnogórskiego, wys. 28 m) o łącznej długości 260 m, czterech głębokich wkopów w litych skałach i wysokich nasypów. Przy budowie zatrudniono ok. 300 robotników cudzoziemskich (byli to Chorwaci, Czesi, Polacy, Ukraińcy, a nawet Włosi). Maksymalne nachylenie na odcinku Nowa Wieś Kłodzka – Przełęcz Srebrna wyniosło 5%, a na odcinku Srebrna Góra – Przełęcz Srebrna nawet 6%. Wymusiło to zastosowanie na odcinku 6,6 km dwulistwowej szyny zębatej systemu Abta, zamocowanej na stalowych podkładach pośrodku torowiska. Odcinek zębaty obsługiwany był przez specjalne parowozy adhezyjno-zębate, które kursowały wyłącznie między stacjami w Srebrnej Górze i Woliborzu.