Po zwycięstwie Czechów nad Węgrami w bitwie pod Kressenbrunn i pokoju wiedeńskim z 1261 przeszła we władanie króla Czech Przemysła Ottokara II, po czym w 1276 trafiła pod panowanie dynastii Habsburgów, która przejęła z rąk czeskich także Księstwo Austriackie. W dokumencie z 1286 Hartberg po raz pierwszy był wzmiankowany jako miasto (civitas), a w 1310 mieszczanie uzyskali prawo wolnego wyboru burmistrzów. W 1469 miasto zajęli antyhabsburscy powstańcy styryjscy pod wodzą Andreasa Baumkirchera, opowiadający się po stronie króla Węgier Macieja Korwina. W 1487 miasto zdobył Maciej Korwin i ponownie włączył do Węgier, po czym po paru latach znów przypadło Austrii. W 1529 Ferdynand I Habsburg sprzedał miasto i zamek, które następnie były własnością różnych rodów szlacheckich. W XVI wieku zamek został przebudowany w stylu renesansowym, a w XVII wieku dobudowano skrzydło z arkadami.