W C. K. Armii w grudniu 1889 został mianowany podporucznikiem rezerwy artylerii z dniem 1 stycznia 1890. Był oficerem rezerwowym 21 baterii dywizji w Stanisławowie (ok. 1890–1894), a około 1894 sformowanego w tym mieście 31 puku artylerii dywizyjnej.
Będąc słuchaczem na uniwersytecie działał w tajnych organizacjach niepodległościowych. Działał wtedy we lwowskiej Organizacji Narodowej, działając aktywnie w obchodach, uroczystościach, drukował w piśmie „Życie”. Przybywał jako delegat i pełnomocnik związku Ligi Narodowej do Tarnowa, gdzie późną wiosną 1890 założono koło tej organizacji (członkowie współpracowali potem ściśle z innym działaczem ze Lwowa, Janem Stapińskim). Przy prowadzeniu sprawy Tadeusza Sośniaka był prześladowany przez władze austriackie. W związku z prowadzonym śledztwem w sprawie działalności polskich tajnych organizacji Borzemski został aresztowany 17 października 1894, był przetrzymywany we Lwowie, a po trzech dniach przewieziony do więzienia C. K. Sądu Obwodowego w Tarnopolu. Podczas uwięzienia w tym zakładzie zorganizował wraz z również aresztowanymi w sprawie współpracownikami system porozumiewania się. Oskarżonych został 26 osób, którym 3 marca 1895 przekazano akty oskarżenia.