Wiek XV i XVI stanowił najpomyślniejszy okres w rozwoju omawianej jednostki osadniczej. W XVI w. miasto osiągnęło apogeum świetności, stając się siedzibą starostwa niegrodowego. W 1570 roku działało tutaj aż 50 piwowarów. Wzrosła również liczba domostw (z 196 w 1569 r. do 245 w 1620 r.). Rozwój miasta był możliwy dzięki usytuowaniu na starym szlaku prowadzącym z Krakowa na Śląsk oraz do Wielkopolski. Przez Żarnowiec wiodła również droga do Warszawy jako nowej stolicy RP.

Pierwszy poważny kryzys pojawił się wraz z potopem szwedzkim. W wyniku grabieży i pożarów wznieconych przez nieprzyjaciela liczba domostw spadła do 100. Wielki pożar z 1697 r. zniszczył większość tego, co pozostało z najazdu Szwedów. W 1756 r. na 129 domostw 78 stało pustych. Dopiero pod koniec XVIII w. liczba domów osiągnęła liczbę 155. Było ich zatem więcej niż w Olkuszu, Skale czy Wolbromiu, ale mniej niż w pobliskiej Pilicy, co wskazuje, że Żarnowiec był jeszcze dosyć dużym miastem. Wzrost liczby ludności wiąże się jednak z napływem Żydów, którzy w II połowie XIX w. przewyższyli już ludność polską. W mieście powstała żydowska synagoga, cmentarz oraz 3 szkoły wyznaniowe tzw. chedery (w 1906 r. było ich już 6). W 1775 r. miał miejsce pożar zamku, który częściowo został rozebrany. W 1794 r.