Skład osobowy Zarządu Politycznego ukształtował całkowicie według własnego uznania, cieszył się w wojsku niepodważalnym autorytetem.
W 1935 r., w związku z wdrożeniem nowych stopni wojskowych w Armii Czerwonej, otrzymał jako pierwszy stopień komisarza armijnego I rangi. W 1936 r. publicznie zaaprobował proces i egzekucję Grigorija Zinowjewa oraz Lwa Kamieniewa. Poparł również usunięcie z partii Nikołaja Bucharina.
Sprawa Tuchaczewskiego i śmierć 20 maja 1937 r., w przededniu rozpoczęcia masowej czystki w Armii Czerwonej, Jan Gamarnik został pozbawiony stanowiska i mianowany członkiem Rady Wojennej Środkowoazjatyckiego Okręgu Wojskowego. Kilka dni później miały miejsce aresztowania wysokich rangą dowódców, którzy mieli w połowie czerwca stanąć przed sądem wojskowym (Michaiła Tuchaczewskiego, Iony Jakira, Ijeronima Uborewicza, Borisa Feldmana, Roberta Ejdemana, Awgusta Korka). Gamarnik wcześniej wspólnie z Jakirem i Iwanem Dubowojem starał się bronić Tuchaczewskiego przed aresztowaniem, a nadto wstawiał się również za aresztowanym wiosną 1937 komkorem Ilją Garkawym. W związku z tym przewidywał, że również zostanie uwięziony. 30 maja Politbiuro podjęło decyzję o odsunięciu go od pracy w Komisariacie Obrony z powodu „związków z uczestnikami faszystowskiego spisku wojskowego”.