Jelšavę napadli Turcy: 452 osoby zginęły podczas obrony miasta, ok. 400 poszło w jasyr, a samo miasto zostało spalone.
Odbudowa nie trwała długo, bo już w roku 1573 w okolicach Jelšavy pracowało znów 5 hut i 4 hamry (kuźnice, przekuwające surowe żelazo na zdatne do dalszej obróbki prefabrykaty). W XVII w. jednak wyczerpały się okoliczne złoża wydobywanych dotąd metali. Dopiero od początku XVIII w. miejscowość zaczęła się znów rozwijać jako ośrodek rzemiosła. Wkrótce w mieście działało (w różnych okresach) od 36 do 42 cechów. Dominowały tradycyjne specjalności związane z obróbką metali (m.in. słynni byli tutejsi wytwórcy dzwonków), ale pracowali też garbarze, kożusznicy, szewcy, powroźnicy, sukiennicy i in. Z końcem XVIII w. Jelšava była, obok Rymawskiej Soboty i Rożniawy, jednym z trzech największych ośrodków rzemieślniczych w całym Malohoncie i Gemerze. W tym czasie powstała tu pierwsza apteka w całym Gemerze, a w 1796 r. pierwsze na Słowacji (i jedno z pierwszych na Węgrzech) towarzystwo sadownicze (Čerešnícky spolok).