Dekretem z 9 lutego 1922 przedstawiono zadania OGPU:
Ochrona ustroju polityczno-gospodarczego ZSRR. Walka ze szpiegostwem i bandytyzmem. Zwalczanie powstań i buntów skierowanych przeciwko władzy radzieckiej. Zdobywanie informacji o sytuacji politycznej, społecznej i ekonomicznej w innych państwach. Penetracja działających na emigracji opozycyjnych organizacji i partii politycznych. Kontrola własnego personelu dyplomatycznego. Ochrona celna granic. Zabezpieczenie linii komunikacyjnych: kolejowych, wodnych.
Kierownictwo Kierowniczym organem OGPU było kolegium, na jego czele stał przewodniczący z prawami Komisarza Ludowego (ministra), którego powoływał Centralny Komitet Wykonawczy.
W skład kolegium wchodziło dwóch zastępców oraz 13 szefów zarządu głównego; centrala OGPU mieściła się w Moskwie przy pl. Łubiańskim (tzw. Łubianka).
Przewodniczącym Zjednoczonego Państwowego Zarządu Politycznego był Feliks Dzierżyński, który obejmował owo stanowisko aż do śmierci w 1926.
Zastępcą Dzierżyńskiego, a następnie kolejnym szefem OGPU był Wiaczesław Mienżynski.