Feliks Dzierżyński, a jego zastępcą Wiaczesław Mienżynski.
28 grudnia 1921 roku ogłoszono decyzję o rozwiązaniu Nadzwyczajnej Komisji do Walki z Kontrrewolucją i Sabotażem, a w miejsce CzeKa powołano nową instytucję o tym samym zakresie działań pod nazwą Państwowy Zarząd Polityczny (GPU) przy Ludowym Komisariacie Spraw Wewnętrznych Rosyjskiej Socjalistycznej Federacyjnej Republiki Radzieckiej RSFSR (GPU NKWD).
Wówczas formalnie utworzono tzw. Kontrrazwiedywatielnyj Otdieł (KRO) Kontrwywiadowczy Oddział. Składał się on początkowo z 10, potem 11, a pod koniec 1922 roku z 7 wydziałów, kontrwywiadem przeciwko ówczesnej Polsce (II RP) zajmował się Wydział 3, kierował nim J. Makowski, a następnie Jan Olski.
Aby bardziej usamodzielnić struktury służb bezpieczeństwa wywiadu i kontrwywiadu od pionów administracyjnych, w listopadzie 1923 roku Państwowy Zarząd Polityczny odłączono od NKWD i powołano Zjednoczony Państwowy Zarząd Polityczny OGPU. Struktura kontrwywiadu pozostała prawie bez zmian, jedynie podporządkowano go (tj.KRO) pod Zarząd Tajno-Operacyjny OGPU (SOU OGPU), na którego czele stali kolejno: Wiaczesław Mienżyński 1923–1927, Gienrich Jagoda 1927–1929. Przez lata 20. na czele Oddziału Kontrwywiadu (KRO.SOU.OGPU) stał Artur Artuzow, jego zastępcami byli Siergiej Puzicki i Roman Pillar.