Został obwinionym defraudacji finansowych w wysokości 200 tys. florenów. Po odejściu ze stanowiska dyrektora-referenta w TWU (1896) został obdarzony funkcją kuratora honorowego. W 1897 wykrycie poważnej defraudacji wykazało potrzebę reformy administracji TWU. Kieszkowski złożył dymisję, a jego pożegnanie z pracownikami TWO odbyło się 27 maja 1897. Wycofał się z życia publicznego, a na pokrycie strat finansowych w Towarzystwie przekazał swoją pensję emerytalną i oddał mieszkanie pozostawione mu dożywotnio. Na uroczystym pożegnaniu Rada Nadzorcza pozostawiła mu godność dożywotniego honorowego kuratora Towarzystwa.
O defraudacje w TWU został też obwiniony pracujący także tam jego syn Czesław Kieszkowski, a po ujawnieniu sprawy w październiku 1897 i ucieczce syna za granicę Henryk Kieszkowski pokrył szkody wyrządzone przez syna (ponad 100 tys. koron). Ostatecznie pod koniec lipca 1911 złożył pierwsze zeznania przed sądem. W latach 1898–1900 spisał swój pamiętnik będący historią powstania i rozwoju towarzystwa ubezpieczeniowego.