19 lutego 1866 roku przyjął święcenia kapłańskie we Lwowie.
Jako zakonnik Kacper Mikulski przyjął imię Kazimierz. W zgromadzeniu pełnił obowiązki księdza mszalnego, bibliotekarza klasztoru w Tarnowie oraz kierownika ufundowanej przez Mariannę Mikulską bursy dla biednych uczniów. Organizował kongregację braci i sióstr Trzeciego Zakonu św. Franciszka w Nowym Targu. W 1874 roku został gwardianem klasztoru bernardynów w Samborze. W 1875 roku został usunięty z zajmowanego stanowiska i wydalony z diecezji przemyskiej. Powodem kary kościelnej było zaangażowanie się ojca Kazimierza w sprawę suspendowanego księdza z diecezji tarnowskiej i przyjęcie go do klasztoru bez zgody ordynariusza miejsca.
Nie mogąc pogodzić się z polityką kościelną galicyjskich biskupów rzymskokatolickich Kacper Mikulski postanowił wystąpić z Kościoła katolickiego. Odszedł z zakonu, zrzekł się obywatelstwa austriackiego i wyjechał do Cesarstwa Niemieckiego. 11 maja 1875 roku w Czarnymlesie dokonał uroczystej konwersji na luteranizm.