W czasach Powstania Styczniowego lasy w okolicach Grzybowej Góry były miejscem schronienia powstańców. Toczyły się również w nich liczne bitwy i potyczki. Jedną z takich bitew opisał w wydanej w 1963 r. książce „Powstanie Styczniowe” Stanisław Strumph-Wojtkiewicz.
Relacja Stanisława Strumpha-Wojtkiewicza
Oddział powstańczy pod dowództwem Władysława Kononowicza po potyczce w dniu 16.04.1863 r. pod Grobowcem w dniu 19.04.1863 r. przybył do miejscowości Grzybowa Góra. Dowódca oddziału wyjechał służbowo, a oddziałem pod nieobecność Kononowicza dowodził kpt. Ludwik Michalski. Oddział liczył około 150 osób. W Grzybowej Górze do oddziału dołączyła znaczna grupa miejscowych włościan (chłopów) uzbrojonych w kosy.
W tym czasie w godzinach wieczornych do Grzybowej Góry od strony „Babicy” z Kielc zbliżał się oddział Moskali w sile około batalionu pod dowództwem płk. Czengierego. Był już wieczór kiedy wojska rosyjskie wkroczyły do wsi. Tu na stłoczone wojska powstańcy otworzyli zmasowany ogień strzelecki, a następnie do boju poprowadził kosynierów ks. Agrypin Konarski. Ksiądz Agrypin Konarski spostrzegłszy, że dowódca kosynierów niejaki major T. schował się za krzaki, objął nad nimi komendę, zagrzewał do walki, prowadził naprzód, pomimo, że kula urwała mu palec od ręki. Kosynierzy rozstrzygnęli tam walkę, narąbali dużo Moskali i zabili im kapitana.
Gdy w czasie bitwy raniony zastał płk. Czengiery oraz zabity kpt. Wołoszenko wojska rosyjskie rozpierzchły się. Do niewoli dostała się jedna kampania piechoty, która złożyła broń. Powstańcy zdobyli przeszło 150 sztucerów karabinowych i kilkanaście tysięcy ładunków. W bitwie tej poległo 86 Moskali, 19 powstańców, a rannych zastało 26. Rozbite wojska rosyjskie w dniu następnym rano dotarły do Radomia.
Mieszkańcy mieli niezwykle podniecający i podnoszący na duchu widok, gdy żołnierze rozbitych rot częściowo bez broni okryci krwią i kurzem grupami wchodzili do miasta.
Po bitwie oddział powstańców udał się w kierunku Końskich, gdzie połączył się z Oddziałem Czachowskiego staczając kolejna bitwę w dniu 22.04.1863 r. pod Stefankowem. Poległych w bitwie Rosjan pochowano we wspólnej mogile na tzw. „Kozakach” (działka nr 1011). Gdzie pochowano powstańców tego nie ustalono. W parafii Skarżysko Kościelne i Mirzec brak adnotacji o pochówku powstańców. Zwyczajem Rosjan było zacierać ślady dotyczące powstańców, a ich rodziny fakty te trzymały w tajemnicy w obawie przed represjami (zsyłki, konfiskaty majątków).
Relacja Walentego Płusy
Poniżej relacja dotycząca bitwy pod Grzybową Górą w okresie Powstania 1863 roku oraz postawionego tam krzyża, spisane przez Jacentego Płusę w Lipowym Polu w dniu 13 stycznia 2007 roku. Opowieść o tej bitwie Jacentemu Płusie przekazał jego ojciec Antoni Płusa, a ten z kolei relację zaczerpnął z przekazu swego ojca Walentego Płusy.
W Grzybowej Górze w tym czasie chłopi byli już uwłaszczeni. Wójtem był niejaki Mech. W jego mieszkaniu kwaterował dowódca powstańczego oddziału kosynierów ks. Agrypin Konarski wraz ze swym adiutantem. Kozacy byli zgrupowani w Szydłowcu i postanowili uderzyć w trzech kierunkach: na Suchedniów, Grzybową Górę i Mirzec. Wywiązała się walka. W czasie bitwy ks. Konarski wraz z adiutantem wstąpili na kwaterę i wychodząc zostali zaatakowani przez Kozaków. Adiutant został zabity na posesji mojego dziadka (Walentego Płusy). Pochowano go na miejscu gdzie zginął. W późniejszym czasie został on wykopany i zabrany przez byłych powstańców. Ks. Konarski, ciężko ranny został wzięty do niewoli. Przetransportowano go do Cytadeli Warszawskiej, gdzie przez tydzień był torturowany. Skazano go na śmierć 12 czerwca 1863 roku.
W bitwie brał udział powstaniec, niejaki Kocia, pseudonim „Jagliński” ze wsi Świerczek. W pewnej chwili wycofał się z pola walki i rowem pod osłoną zarośli uciekł w stronę Nowego Młyna. Przebrał się za młynarza i w ten sposób udało mu się przeżyć. Z wdzięczności za ocalenie zbudował kapliczkę na swojej posesji w miejscowości Świerczek przy trasie Szydłowiec – Wąchock.
Dla upamiętnienia zabitego powstańca i jego dowódcy, wójt wraz z chłopami z sąsiednich posesji, postawili modrzewiowy krzyż na skrzyżowaniu dróg. Krzyż ten parokrotnie był poprawiany i przetrwał do 1935 roku. Na jego miejscu ojciec mój (Antoni Płusa) i ja (Jacenty Płusa) – wtedy szesnastoletni – wybudowaliśmy krzyż żelazny na cokole z kamienia wykopanego z miejscowego kamieniołomu znajdującego się na tzw. pastwiskach. Pragnę tu nadmienić, że ojciec mój udzielał się społecznie – był radnym kilku kadencji, współorganizatorem i członkiem zarządu Kasy Stefczyka w Jagodnem oraz prezesem koła Stronnictwa Ludowego w Grzybowej Górze. Był on wielkim patriotą i miłość ojczyzny wpajał mi do końca życia.