To pod jego kierownictwem, już jako proboszcza parafii w Lipce, na gruntach ofiarowanych przez miejscowych gospodarzy w 1907 r. rozpoczęto budowę świątyni, której aktu poświęcenia w dniu 17 października 1909 dokonał i po raz pierwszy mszę w języku polskim odprawił nowo konsekrowany w Utrechcie (Holandia), biskup mariawicki – Jan M. Michał KowalskiHistoria parafii, Parafia Kościoła Starokatolickiego Mariawitów w Lipce [dostęp 2020-11-18]..
Kapł. Maria Kazimierz Kaczyński zorganizował przy parafii lipkowskiej szereg instytucji o charakterze charytatywno-oświatowym: ochronki w: Lipce, Poćwiardówce i Nowostawach Dolnych. Ponadto zorganizował również przyparafialną straż pożarną, tkalnię, szwalnię, szkołę podstawową, internat dla sierot, przytułek dla starców, bibliotekę z czytelnią, a także warsztaty przyuczania do zawodu dla dziewcząt. Dla utrzymania zarówno siebie, jak i sióstr zakonnych zorganizował również przyparafialne gospodarstwo rolne. Z kolei dla utrzymania życia religijnego wśród swoich parafian (m.in. z uwagi na dużą liczbę wiernych należących do Parafii w Lipce) założył także liczne kaplice domowe (w: Nowostawach Dolnych, Nowostawach Górnych, Dąbrówce Małej, Dąbrówce Dużej, Poćwiardówce i Anielinie)Archiwum Parafii Kościoła Starokatolickiego Mariawitów w Lipce..