Według wersji zamieszczonych w publikacjach prasowych Berg kierował grupą funkcjonariuszy na poligonie Butowo, która zajmowała się wykonywaniem wyroków śmierci zasądzonych przez „trójki” NKWD obwodu moskiewskiego i centralną „dwójkę” NKWD ZSRR w Moskwie.
Został usunięty ze stanowiska „za udział w libacji alkoholowej i nieprzyzwoite zachowanie w mieszkaniu kolegi”, o czym wcześniej poinformowała władze jego własna teściowa. Aresztowany 4 sierpnia 1938 roku. Później do pospolitych oskarżeń dodano zarzut „udziału w terrorystycznej organizacji trockistowskiej działającej w wydziale NKWD w obwodzie moskiewskim”.
Na mocy wyroku Kolegium Wojskowego Sądu Najwyższego ZSRR został rozstrzelany 7 marca 1939 roku. Miejscem pochówku jest zbiorowa mogiła niechcianych prochów nr 1 przy krematorium cmentarza Donskiego.
Po śmierci Józefa Stalina rodzina Bergów próbowała poruszyć kwestię jego rehabilitacji, której początkowo odmawiano, ale po pośmiertnej rehabilitacji byłego szefa NKWD obwodu moskiewskiego, Stanisława Redensa, również Berg został zrehabilitowany 6 czerwca 1962 roku.