Pomógł królowi Stefanowi Batoremu podczas wojny z Rosją, dostarczając mu 500 żołnierzy i dowodząc nimi osobiście. Za tę pomoc otrzymał w 1579 rangę senatora. Wykorzystał tę funkcję głosząc konieczność tolerancji religijnej w Rzeczypospolitej. Kolejny król Zygmunt III Waza uczynił go w 1587 kasztelanem wileńskim i w 1589 wojewodą brzeskim. W 1589 roku był sygnatariuszem ratyfikacji traktatu bytomsko-będzińskiego na sejmie pacyfikacyjnymCodex diplomaticus Regni Poloniae et Magni Ducatus Lituaniae, wydał Maciej Dogiel, t. I, Wilno 1758, s. 237..
Pod wpływem wybitnego propagatora ruchu braci polskich – Piotra z Goniądza (który działał głównie w należącym do Kiszki Węgrowie), Jan Kiszka zaczął usuwać kalwińskich pastorów i zastępować ich braćmi polskimi. Prowadził też akcję misyjną wśród własnych chłopów pańszczyźnianych, nie dając im jednak (wbrew zaleceniom braci polskich) wolności. Drobna szlachta z Litwy chętnie przyjmowała nauki braci polskich i na jej użytek Kiszka w 1570 ufundował ariańską drukarnię w Węgrowie, gdzie wydrukowano traktat Piotra z Goniądza O Synu Bożym. Następnie drukarnię przeniesiono do Łoska, gdzie opublikowano tłumaczenie Nowego Testamentu na język polski.