Miał niełatwe zadanie naprawienia szkód powstałych w okresie 13-letniego zesłania jego poprzednika. Tej pracy poświęcił swoje rządy. Lojalny był wobec rządu rosyjskiego. W 1884 suspendował proboszcza, który przyjął w kościele metropolitę prawosławnego (za co władze carskie zmniejszyły mu pensję o połowę, ale już pod koniec 1885 kara ta została umorzona). W 1891 został prekonizowany na arcybiskupa mohylewskiego. Diecezja łucko-żytomierska „została znowu – jak pisał Jerzy Filipowicz – bez rzeczywistego pasterza”. W 1892 nie chciał wprowadzić języka rosyjskiego do nabożeństw dodatkowych, co było przyczyną poważnego konfliktu z władzami państwowymi. Abp Kozłowski, jak pisze ks. Mieczysław Żywczyński, „uchodził za człowieka mało energicznego, był pod wpływem księdza Symona, a po usunięciu zaś tego przez rząd w roku 1897 pod wpływem innego sufragana, bpa Karola Antoniego Niedziałkowskiego”. Był jednym z najpłodniejszych pisarzy religijnych w cesarstwie rosyjskim. Pisał podręczniki religii. Popularyzował zasady i dzieje Kościoła katolickiego. Nie był naukowcem, ale w 1862 został doktorem honoris causa Akademii Duchownej w Petersburgu. Do XX wieku ogół młodzieży uczył się na jego książkach. Ogłosił tekst Wulgaty w przekładzie ks.