Stanisława Błońskiego (1924) Kozicki był zamieszany w próbę wykorzystania Oddziału II Sztabu Generalnego Wojska Polskiego do inwigilacji Józefa Piłsudskiego i jego otoczenia polityczno-wojskowego w październiku 1923. Gdy 3 lutego 1926 roku objął funkcję posła RP w Rzymie, obóz piłsudczykowski, na czele z Kazimierzem Świtalskim, dyskredytował nowego ambasadora, imputując mu poparcie dla włoskiego faszyzmu. W wyniku tej kampanii odwołano go z Rzymu 1 grudnia 1926 roku. Do 1925 roku był posłem, a w latach 1928–1935 (przez dwie kadencje) senatorem reprezentującym województwo lubelskie.
W 1928 roku wszedł w skład Ogniska Głównego (kierownictwa) Straży Narodowej, tajnej organizacji powołanej w bezpośrednim otoczeniu Romana Dmowskiego po rozwiązaniu Ligi Narodowej. W październiku 1928 zasiadł w Zarządzie Głównym i w Komitecie Politycznym nowo założonego Stronnictwa Narodowego.
Już w końcu lat dwudziestych nie wierzył w możliwość utrzymania pokoju w Europie, był szczególnie krytyczny wobec Ligi Narodów. Jednocześnie pozytywnie wypowiadał się o nazizmie. Tak o nim pisał: „to ruch oparty o najistotniejsze instynkty narodu niemieckiego, ruch odpowiadający momentowi dziejowemu, skupiający w sobie młodzież, która tworzyć będzie przyszłe Niemcy”.