Opublikował również własne tłumaczenie pism najstarszych Ojców Kościoła.

Od 1866 zarządzał także zniesioną przez Rosjan diecezją kamieniecką.

Zrównoważony, taktowny i pełen powagi, bp Kacper Borowski umiał zachować dobre stosunki z władzami rosyjskimi. Cieszył się nawet ich zaufaniem, czego dowodem były liczne odznaczenia i fakt, że na zjazd biskupów w Rzymie w 1862, z okazji kanonizacji męczenników japońskich, tylko jemu pozwolono wyjechać z terenu Rosji. Te stosunki nie uratowały go jednak przed ostrym konfliktem z władzami rosyjskimi w okresie prób rusyfikacji nabożeństw katolickich. Bp Borowski energicznie przeciwstawił się próbom wprowadzenia języka rosyjskiego do nabożeństw i nie przyjął „trebników” w języku rosyjskim. Ponieważ nie uległ namowom ani pogróżkom, w 1869 został wywieziony do Permu. Zwolniono go z zesłania dopiero po trzynastu latach – w 1882. Nie mógł powrócić do swojej diecezji, wyjechał do Płocka, gdzie w 1883 został mianowany biskupem ordynariuszem płockim. Zmarł po niespełna dwóch latach rządów 15 stycznia w 1885. Wzorowy kapłan i sumienny człowiek – pisał o bpie Borowskim Walerian Charkiewicz – pracy żadnej się nie uląkł, odznaczał się wytrwałością i wyjątkową rzetelnością.