W XV w. należała do klasztoru cystersów w Wąchocku (Długosz, III, 414). W drugiej połowie XIX w. wieś liczyła 49 domów 293 mieszkańców, mórg ziemi włościańskich 687, dworskiej 355.
Powstanie styczniowe
Czasy współczesne W treści Załącznika nr 1 do Uchwały Nr XLVII/276/10 Rady Gminy w Skarżysku Kościelnym z dnia 31 sierpnia 2010r. – w dziale rys historyczny przeczytać można”.
„Po wojnie ludność znajduje prace w zakładach na terenie Starachowic, Skarżyska Kamiennej. Od 1946 roku istnieje stacja PKP, z której korzysta ok. 1000 osób z okolicznych miejscowości. Rzemiosłem trudnili się: produkcja dachówek – Władysław Płusa, Stanisław Gładyś. Władysław Sieczka, Lucjan Gładyś; kowalstwo i produkcja pilników – Bracia Józef i Kazimierz Grzmilowie; murarka – Henryk Piętak; stolarka – Władysław Gładyś. W 1966 roku zaistniał pożar wsi (około 50 zabudowań) – od Błacha Władysława do zabudowań Bolesława Płusy.”
W miejscowości działa zespół folklorystyczny Grzybowianki, występujący na różnych imprezach w regionie (np.: Dymarki Świętokrzyskie).
15 marca 1984 część Grzybowej Góry (miejscowość Nowy Młyn) włączono do Skarżyska-Kamiennej.