Szydłowiec był mu znany, w latach dwudziestych kierował bowiem powiatową komendą policji w tym mieście. Zadenuncjowany przez sąsiada, który go rozpoznał, wiosną 1945 roku wraz z żoną wyjechał do rodzinnej Łodzi. Kozielewskich ostrzegł i pomógł w organizacji ucieczki miejscowy aptekarz, Żyd ocalały z Holocaustu.

Po przejęciu władzy w Polsce przez komunistów, poszukiwany przez bezpiekę, pozostawał w ukryciu posługując się fałszywym nazwiskiem. Przez pewien czas prowadził w Łodzi sklep drogeryjny. Kiedy jego tożsamość została ujawniona, bezpieka i NKWD dokonały najścia na jego sklep, szczęśliwie podczas nieobecności Kozielewskiego.

Emigracja i śmierć W styczniu 1946 (według innego źródła w 1947) wraz z żoną Jadwigą opuścił kraj. Ewakuowany do amerykańskiej strefy okupacyjnej w Berlinie, następnie udał się do Francji, gdzie przebywał w Reims oraz w Paryżu. Przez rok pełnił służbę w Polskich Kompaniach Wartowniczych.