Mieszczaństwo Szydłowca było, podobnie jak w innych miastach, zróżnicowane społecznie i majątkowo. Najbogatszą warstwę stanowił patrycjat. Jego przedstawiciele zwani „sławetnymi” piastowali najwyższe urzędy: wójta, burmistrza i ławników. W XVII wieku do najbogatszych patrycjuszy należał kupiec Antoni Piwonja Omiecki, posiadający 3 domy, rozległe pola uprawne i 26 sztuk bydła; Szkocka rodzina Russelów posiadała 2 kamienice oraz folwark.
Najliczniejszą grupę tworzyło silnie zróżnicowane majątkowo pospólstwo obywateli miejskich złożone z rzemieślników, kramarzy oraz mieszczan uprawiających rolę. Grupa najuboższa, pozbawioną praw miejskich, stanowili komornicy, czeladnicy, służba domowa i wyrobnicy oraz ludzie „luźni”, przeważnie wędrowni chłopi.
W XVII i XVIII wieku ludność Szydłowca dziesiątkowały szalejące co kilkanaście lat zarazy (np. w latach 1625, 1642–1643, 1653–1654), które spowodowały gwałtowny spadek liczby mieszkańców. Uwikłanie Rzeczypospolitej w latach 1648–1717 w ustawiczne wojny, a zwłaszcza w wojnę ze Szwecją w latach 1655–1660, choć nie przynosiły miastu bezpośrednich zniszczeń, sprowadziły jednak upadek. Miary nieszczęść dopełniły skutki wojen domowych oraz wojny północnej (1702–1721). Spowodowały one katastrofalne wyludnienie miasta (około 90%) i ruinę majątkową mieszkańców.