Najczarniejszym dniem w historii miasta był jednak 9 kwietnia 1779 r., kiedy w wielkim pożarze spłonęło 113 domów, fara, ratusz, karczma, browar oraz trzy z czterech bram miejskich.
W okolicy miasta wydobywano złoto, srebro i miedź. W XVI wieku zaczęto wydobywać również rudę żelaza oraz wytwarzać potrzebny do wytopu żelaza węgiel drzewny. W 1655 r. cesarz Ferdynand III Habsburg podniósł Brezno do rangi wolnego królewskiego miasta górniczego. W XVII i XVIII wieku, wobec powolnego wyczerpywania się złóż, w mieście rozwinęło się rzemiosło, a także nabrało znaczenia rolnictwo. W ciągu XVIII wieku górnictwo stopniowo traciło znaczenie ze względu na nieopłacalność wydobycia. Głównym zajęciem mieszkańców stał się wyrób węgla drzewnego dla hut regionu, garbarstwo i farbiarstwo płótna, a w XIX wieku – rzemiosło, handel oraz hodowla owiec i bydła. W tym okresie bryndza z Brezna stała się słynna w całych Węgrzech.