Po zmianie ordynacji wyborczej poseł do Rady Państwa XI i XII kadencji (17 lutego 1907 – 5 czerwca 1917) z okręgu wyborczego nr 67 (Jarosław – Pruchnik). Mandat po nim objął Edmund GalikJózef Buszko, Polacy w parlamencie wiedeńskim – 1848–1918, Warszawa 1996, s. 18, 176, 234, 237, 284, 307, 390, 399, 407, 413, 415, 416, 420–422, 428–430, 437, 438.. W parlamencie austriackim w Kole Polskim w Wiedniu także przewodził podolakom. Z ramienia Koła Polskiego uczestniczył w pracach komisji gospodarczych Rady Państwa. Opowiadał się za utrzymaniem związków Koła Polskiego z prawicą parlamentu. Uważał także, że Polacy winni dążyć do ścisłej współpracy z innymi Słowianami, zwłaszcza Czechami. Wraz z Leonem Bilińskim i Wojciechem Dzieduszyckim opracował kompromisowy projekt ustawy językowej dla Przedlitawii. Od 1902 wraz ze Stanisławem Głąbińskim walczył o budowę kanałów w Galicji. Jako przywódca podolaków w maju 1905 wziął udział w trójzaborowym zjeździe konserwatystów polskich w Krakowie, którego celem było uzgodnienie stanowisk i działania wobec wydarzeń rewolucyjnych. Zdaniem Michała Bobrzyńskiego należał poseł Kozłowski do najznakomitszych w Kole posłów.