Jego zastępcami byli Gienrich Jagoda oraz Michaił Trilisser, który sprawował stanowisko szefa Wydziału Zagranicznego – I Zarządu Głównego.
Struktura organizacyjna po zmianach z 1930–1933 Aby sprostać zadaniom powierzonym przez kierownictwo partii bolszewików, OGPU posiadało odpowiedni aparat, składający się z części cywilno-politycznej i wojskowej (złożonej z oddziałów specjalnych, których liczbę określała Sowiecka Rada Obrony i Pracy).
Struktura OGPU wyglądała następująco – Oddział Informacyjno-Rejestracyjny (IRO) – zbieranie informacji dotyczących nastrojów wśród obywateli ZSRR, cenzura korespondencji, utworów literackich i teatralnych, rozpracowywanie osób podejrzanych, np. byłych oficerów i urzędników carskich, popów, anarchistów, gromadzenie danych. Oddział Kontrwywiadowczy (KRO) – rozpracowywanie placówek wywiadowczo-informacyjnych innych państw działających w ZSRR, kontrwywiad ofensywny na terenie obcym, kontakt z wywiadem Sztabu Generalnego Armii Czerwonej – Razwiedupr, nadzór nad instytucjami takimi jak hotele, lokale rozrywkowe, kina itp. Oddział Specjalny (SPEKO) – ochrona tajemnicy państwowej, szyfry, nadzór nad więzieniami i aresztami. Oddział Ochrony Linii Kolejowych i Transportu (DTO) – nadzór i ochrona budynków państwowych związanych z administracją transportową, penetracja pracowników, np.