Po zakończeniu konfliktu w kierownictwie OGPU (pomiędzy Messingiem, Jewdokimowem, Woroncowem, Olskim i Wielskim a Jagodą, wspieranym przez Mienżyńskiego) 31 lipca 1931 wszedł w skład Kolegium OGPU. We wrześniu 1931 został wyznaczony pełnomocnym przedstawicielem OGPU w obwodzie moskiewskim (zgodnie z pismem Kaganowicza do Stalina Mienżyński wspólnie z Akułowem i Walickim byli temu przeciwni, uważając Agranowa za niezastąpionego w Tajnym Wydziale Politycznym; Mienżyński proponował kandydaturę Mancewa, której był przeciwny Kaganowicz, popierający Agranowa). W latach 1931–1932 był jednocześnie szefem Specjalnego Wydziału Moskiewskiego Okręgu Wojskowego.
W grudniu 1934 prowadził śledztwo w sprawie zabójstwa Siergieja Kirowa, został szefem Zarządu NKWD obwodu leningradzkiego. W praktyce kierował pracą wszystkich organów operacyjnych Głównego Zarządu Bezpieczeństwa Państwowego (GUGB). W 1936 wraz z Jagodą i Berią organizował proces pokazowy Zinowjewa i Kamieniewa. Od grudnia 1936 był szefem GUGB, brał udział w przygotowywaniu II procesu moskiewskiego. 15 kwietnia 1937 zdegradowany ze stanowiska zastępcy ludowego komisarza spraw wewnętrznych do stanowiska szefa 4 Wydziału GUGB.