Stanowisko to zajmował do 27 lutego 1941 roku czyli do reorganizacji organów bezpieczeństwa i utworzenia osobnego Ludowego Komisariatu Bezpieczeństwa Państwowego, gdzie rozpoczął pracę na stanowisku szefa Wydziału 8 w Pierwszym Zarządzie, odpowiedzialnym za wywiad zagraniczny, na czele którego stał wówczas Paweł Fitin. Po kolejnej reorganizacji organów, w sierpniu 1941 roku, Filimonow powrócił do pracy w NKWD na stanowisku zastępcy szefa Wydziału 10 przy Pierwszym Zarządzie Głównym, które sprawował do 18 stycznia 1942 roku, a następnie objął stanowisko szefa Oddziału 4 i później 5 w IV Zarządzie odpowiedzialnym za sabotaż i dywersję na tyłach wroga. Po kolejnym utworzeniu Ludowego Komisariatu Bezpieczeństwa Państwowego, 15 maja 1943 roku Filimonow, stanął na czele Wydziału 5 w IV Zarządzie (od maja 1946 roku, IV Zarząd Ministerstwa Bezpieczeństwa Państwowego ZSRR), na czele którego stał Paweł Sudopłatow. Na tym stanowisku pozostał do lipca 1946 roku, kiedy już w stopniu pułkownika bezpieczeństwa państwowego, został zastępcą szefa Specjalnego Oddziału nr 357 Ministerstwa Bezpieczeństwa Państwowego we Lwowie. Od sierpnia 1947 roku do września 1948 roku pozostawał w rezerwie MGB.