Pośród innych miejscowych rzemieślników, kamieniarze musieli stanowić stale znaczącą grupę, choć najpewniej nie byli zrzeszeni w cechu. Przez stulecia bowiem wyroby oparte na miejscowych surowcach mineralnych, w tym kamienie młyńskie, żarna i osełki miały znaczenie ponadregionalne. Wyroby z szydłowieckich zakładów kamieniarskich można spotkać w dużych miastach takich jak Warszawa czy Kraków.
W drugiej połowie XIX i na początku XX wieku, piaskowiec szydłowiecki stał się bardzo popularnym materiałem budowlanym. Na terenie miasta oraz w okolicy powstało wiele kamieniołomów oraz zakładów obróbki kamienia. Ostatni okres gwałtownego wydobycia kamienia przypada na lata pięćdziesiąte oraz sześćdziesiąte dwudziestego stulecia i wiązał się z odbudową miast polskich po wojennych zniszczeniach. W odbudowywanych po zniszczeniach wojennych zabytkach Warszawy piaskowiec szydłowiecki zastąpił stosowany tu niegdyś, zwłaszcza w klasycyzmie, podobny w barwie piaskowiec kunowski. Płytami piaskowcowymi pokryto też elewacje nowych monumentalnych budowli (w tym gmachów na ul. Marszałkowskiej i Pałacu Kultury w Warszawie).