Kaliński był ponadto inicjatorem powstania Państwowego Instytutu Telekomunikacyjnego w Warszawie i powiększania sieci agencji do 2472 w 1934 r., co oznaczało wzrost o 13,1% w porównaniu do 1931 r. W tym też czasie MPiT wprowadziło poczty peronowe i hotelowe pośrednictwa pocztowe.
28 marca 1935 r. Kaliński ponownie został mianowany ministrem poczt i telegrafów w rządzie Walerego Sławka, ale 12 października tego roku rząd upadł. W tym czasie Kaliński wprowadził przepisy ujednolicające organizację ministerstwa i związanych z nim instytucji. W rozporządzeniu z 31 sierpnia 1935 r. dokonano reformy terytorialnej okręgów telefoniczno-telegraficznych, dostosowując m.in. granice obwodów do granic powiatów. W kolejnym gabinecie, który stworzył Marian Zyndram-Kościałkowski, Kaliński również był ministrem poczt i telegrafów. Jednym z ostatnich istotnych jego działań było wydanie rozporządzenia o postępowaniu przy kwalifikowaniu pracowników Poczty Polskiej, Telegrafu i Telefonu.
W 1938 został przeniesiony w stan spoczynku. Po wyborach w tym samym roku otrzymał, z nadania prezydenta, mandat senatora V kadencji.