W latach dwudziestych XIX wieku miasto posiadało 36 domów murowanych i 152 drewniane. Liczba mieszkańców przekraczała 1800 osób. Przeważała ludność żydowska. W 1825 roku Amelia Dembińska wyszła za mąż za Ludwika Dembińskiego herbu Nieczuja (inna rodzina Dembińskich). Dembińscy herbu Nieczuja gospodarzyli w Przysusze aż do 1945 roku, wybudowali tu m.in. dwór, obecnie muzeum. W 1841 roku Przysucha posiadała wielki piec, powstała również walcownia blachy w Młynach oraz fryszerki w Drutarni, Gwarku, Toporni i Młynach. Wydajność tych zakładów była dość znaczna. Jednak z powodu braku koniunktury na sprzedaż artykułów żelaznych i niskoprocentową rudę przemysł zamierał. Dodatkowo powódź, która nawiedziła te tereny w latach siedemdziesiątych XIX wieku oraz konkurencja sąsiednich ośrodków dodatkowo pogłębiły ten proces 11. W roku 1860 ludność żydowska wynosiła niecałe 2000 osób, z kolei Polaków było około 500 osób. Przysucha utraciła prawa miejskie w 1869 roku podczas tzw. reformy miejskiej.
Dwudziestolecie międzywojenne Lekkie ożywienie przemysłu poprawiło trochę sytuację w regionie. Duży rozwój nastąpił jednak w dziedzinie kultury i edukacji za sprawą otwarcia Szkoły Spółdzielczej i Podstawowej.