W 1944 współpracował z zastępcą dowódcy odtwarzanego jako oddział leśny 14 Pułku Ułanów Jazłowieckich, Draganem Sotiroviciem. Pełnił funkcję kapelana tego oddziału. Według autobiografii Stefana Dąmbskiego jesienią 1944 Bossowski wezwał Dąmbskiego do Hyżnego i wyznaczył mu rolę przewodnika dla żołnierzy Sotirovicia. 18 listopada tego roku Bossowski uniknął aresztowania przez Milicję Obywatelską (według innej wersji został aresztowany i zbiegł). Według Dąmbskiego Bossowski zlecił mu w grudniu 1944 rozbicie posterunku MO w Hyżnem, podczas którego wykonawcy uprowadzili i zamordowali czterech funkcjonariuszy. Bossowski opuścił Hyżne i ukrywał się w innych parafiach, m.in. u sióstr zakonnych w Markowej. Od końca marca 1945 pełnił posługę w Gorzycach, pomagając przy odbudowie kościoła. 1 września 1945 wygłosił gościnne kazanie dla 30 tys. osób podczas odpustu w parafii Matki Bożej Pocieszenia w Radomyślu. 5 października 1945 został zatrzymany przez Urząd Bezpieczeństwa, zbiegł z aresztu dzięki pomocy majora i ukrywał się w okolicach Krosna. 6 stycznia 1946 wygłosił kazanie w Haczowie. Według doniesień Mieczysława Chendyńskiego dla UB z lat 1947–1951 miał stopień kapitana.