Kościół Wszystkich Świętych wybudowany został w latach 1230–1233 z cegły i polnego kamienia w stylu gotyckim. Pierwotnie świątynia została wybudowana w stylu gotyckim, jednak z upływem czasu straciła swój charakter. W swojej historii kościół był wielokrotnie niszczony i grabiony, a w latach 1781–1785 był nawet nieczynny wskutek pożaru oraz braku należytej opieki spowodowanej wyludnieniem Grocholic. W 1788, gdy proboszczem parafii był ksiądz Tomasz Kararski, kościół przeszedł gruntowny remont. W latach 1897–1910 ówczesny proboszcz ks. Franciszek Zając dokonał gruntownej odbudowy i rozbudowy kościoła w stylu neogotyckim. Zwiększył długość świątyni, odbudował prezbiterium i kruchty, dobudował trzy kaplice i zakrystię oraz wybudował dwie wieże. Ze starego kościoła pozostała wówczas tylko część murów nawy głównej i szkarpy dwóch przęseł nawy. Rozbudowa kościoła trwała 13 lat i zakończyła się 4 sierpnia 1910 roku. Ze starego kościoła została część murów nawy głównej i szkarpy dwóch przęseł. Podczas działań wojennych w 1914 roku mury kościoła zostały częściowo zniszczone. W latach 1917–1920 kościół został odbudowany z zachowaniem pierwotnego stylu.