Później przez krótki czas był naczelnikiem wojennym Włoszczowy, a następnie wstąpił do 1 pułku ułanów Legionów Polskich pod dowództwem Beliny-Prażmowskiego, gdzie początkowo służył jako zwykły szeregowiec. Tam doszedł do stopnia wachmistrza. Następnie służył w żandarmerii polowej. W tym czasie został odznaczony Krzyżem Walecznych. Pomimo tego, Kozłowski nie czuł się dobrze jako żołnierz i 15 lipca 1915 został przeniesiony do Komendy I Brygady, skąd wysłano go w okolice Lublina, aby tam prowadził werbunek. Austriacy aresztowali go w Zamościu; w zamknięciu spędził 7 miesięcy. Po wyjściu na wolność i kolejnym zaostrzeniu się stosunków pomiędzy Piłsudskim i władzami austriackimi, poświęcił się działalności w Polskiej Organizacji Wojskowej (POW). Został referentem politycznym POW w okręgu radomskim. Później, w obliczu zagrożenia aresztowaniem, pracował w warszawskim Muzeum Archeologicznym. Jednak wkrótce potem rozpoczął organizować struktury POW na Kielecczyźnie.