Ponieważ kościół zaczął się robić za mały dla licznie przybywających pielgrzymek, w latach 1702–1724 dokonano rozbudowy kościoła w stylu barokowym. Konsekracji dokonał biskup Daniel Sommerfeld 1 lipca 1724. W pobliżu świątyni na górze zwanej Oliwną w XIX wieku miejscowy proboszcz Meinhold wybudował Kalwarie z kapliczkami drogi krzyżowej. Legenda głosi, że w czasie budowy 2 lipca 1872 natrafiono na źródełko, które istnieje do dziś dnia i podobno ma właściwości lecznicze. Następnej dużej przebudowy dokonano w 1915 roku ponownie inicjatywy miejscowego proboszcza. Obydwie wojny światowe mocno zniszczyły świątynię. Po II wojnie światowej zaczęto znowu pielgrzymować do cudownej figurki która, uszkodzona w czasie działań wojennych, została odrestaurowana przez rzeźbiarza Jana Serafina. Większej renowacji i wzmocnienia dokonano w 1990 roku. Z powodu szkód górniczych prace te wykonał KGHM Polska Miedź. Obecnie Grodowiec należy do diecezji zielonogórsko-gorzowskiej i jest najbardziej wysuniętą na południe parafią tej diecezji. Pielgrzymi przebywają licznie 15