Ciężko chory na cukrzycę Gamarnik 31 maja zastrzelił się w swoim domu. Według Pawła Wieczorkiewicza wersja o samobójstwie Gamarnika nie jest całkowicie pewna i główny komisarz polityczny Armii Czerwonej mógł zostać zamordowany.
Pośmiertnie Gamarnik został usunięty z wojska jako przyjaciel Jakira, oskarżonego o udział w „wojskowo-faszystowskim spisku”. 11 czerwca 1937 r. wszyscy oskarżeni zostali skazani na śmierć i natychmiast rozstrzelani, ogłoszono także, że Gamarnik współpracował z nimi w działaniach na rzecz restauracji kapitalizmu w ZSRR i w działaniach szpiegowskich i sabotażowych.
Chociaż Gamarnik nie został skazany, jego rodzinę dotknęły represje stosowane wobec krewnych „wrogów ludu”. Szesnaście lat w więzieniach, obozach i na zesłaniu spędziła jego siostra Kłara Bogomołowa-Gamarnik. Na dziesięć lat zsyłki skazano jego córkę Wiktoriję. Żona Gamarnika, Bluma Awerbuch-Gamarnik, została aresztowana w sierpniu 1937 r., oskarżona o uczestnictwo w terrorystycznej organizacji kontrrewolucyjnej i rozstrzelana w 1941 r. na Kommunarce.
W 1955 roku zrehabilitowany. W 1978 r.