Podzamcze Podzamcze jest najstarszą częścią miasta, ponieważ ulokowano tutaj zamek, dzięki któremu powstała osada Szydłowiec. W tym rejonie mieścił się do XIX wieku folwark oraz kamieniołom. Do niedawna przy ulicy prowadzącej do zamku stało kilka drewnianych, zabytkowych domów z których obecnie w nienaruszonym stanie zachował się jeden. Na skraju parku Radziwiłłów znajdował się młyn. Do obiektów zabytkowych tego terenu wliczymy: Zamek Ruiny browaru Park Radziwiłłowski.
Podgórze Podgórze to rejon, na którym pierwotnie eksploatowano kamień piaskowiec, z jego odpadów utworzyła się hałda, która w tradycji mieszkańców uznawana jest za miejsce pochówku zmarłych na cholerę w XVII oraz XVIII wieku, na początku XIX ulokowano tu cmentarz, który do dziś pełni swoje pierwotne funkcje grzebalne. Do obiektów historycznych tego rejonu zaliczyć można: Cmentarz chrześcijański Górę Trzech Krzyży Kamieniołom Pikiel oraz Podkowiński.
Szydłowiec