Służba Bezpieczeństwa podejrzewała go o nadużycia finansowe i podejrzane kontakty z cudzoziemcami. W konsekwencji już w 1964 rozważano jego odwołanie z funkcji sekretarza generalnego PKOl, co nastąpiło w 1965. W latach 1965–1966 zaliczył jako ekstern studia w Akademii Wychowania Fizycznego w Warszawie. Po odejściu z PKOl pracował jako radca przewodniczącego Głównego Komitetu Kultury Fizycznej i Turystyki. W grudniu 1967 został prezesem Związku Piłki Ręcznej w PolsceWładysław Zieleśkiewicz 100 lat polskiej piłki ręcznej 1918–2018, wyd. ZPRP, Warszawa 2018, s. 71.. Z funkcji w GKKFiT został odwołany oficjalnie z powodu „niedociągnięć w pracy administracyjnej całego Polskiego Komitetu Olimpijskiego” w kwietniu 1968. W tym samym miesiącu zrezygnował z funkcji prezesa ZPRPWładysław Zieleśkiewicz 100 lat polskiej piłki ręcznej 1918–2018, wyd. ZPRP, Warszawa 2018, s. 74.. W sierpniu 1968 został zatrudniony w Muzeum Sportu jako starszy instruktor. W listopadzie 1968 wyjechał do Izraela.