W latach 1952–1955 Jan Kazimierczak był prezesem oddziału ZNP Warszawa-Wilanów, a w latach 1955–1957 prezesem Okręgu Warszawskiego Związku Nauczycielstwa Polskiego. Od 1956 do 1959 członek prezydium Zarządu Głównego ZNP, a w latach 1960–1968 członek Głównej Komisji Rewizyjnej ZNP. Pod koniec życia zasiadał w Komisji Historycznej Okręgu Warszawskiego i Oddziału ZNP Warszawa Mokotów, Ursynów, Wilanów. W latach 1958–1970 członek Odwoławczej Komisji Dyscyplinarnej dla nauczycieli przy Ministerstwie Oświaty. W okresie 1945–1984 Jan Kazimierczak był radnym: Gminnej Rady Narodowej w Wilanowie (1945–1949), Powiatowej i Wojewódzkiej Rady Narodowej (1945–1949), Dzielnicowej RN Warszawa Mokotów (1952–1965), Stołecznej RN (1958–1966).
W latach 1972–1984 był zastępcą przewodniczącego Dzielnicowej Rady Narodowej na Mokotowie. Jako radny zajmował się kwestiami budownictwa i wyposażenia szkół, a także mieszkaniami dla nauczycieli.
W 1970 został wybrany na zastępcę prezesa, a w 1972 na prezesa Stołecznego Komitetu Zjednoczonego Stronnictwa Ludowego. Był posłem na Sejm PRL VII kadencji (lata 1976–1980).