Z misjami wywiadowczymi do Paryża wyjeżdżał jeszcze raz w 1936 i 1937.
Wielki terror w ZSRR i aresztowanie W czasie „wielkiej czystki” masowe aresztowania i egzekucje objęły również aparat NKWD w tym jego zarząd zagraniczny (INO), gdzie służył Sieriebrianski. NKWD aresztowało kolejno naczelników INO – Michaił Trilisser, Artur ArtuzowKomisarz Bezpieczeństwa Państwowego 2 rangi Abram Słucki został otruty wraz z innym wysokim funkcjonariuszem GUGB NKWD w gabinecie ówczesnego naczelnika Głównego Zarządu Bezpieczeństwa Państwowego przy NKWD (GUGB NKWD) Komkora Michaiła Frinowskiego., Zelman Pasow i Siergiej Szpigelglas, którzy następnie zostali rozstrzelani, a wielu funkcjonariuszy wywiadu wylądowało w obozach Gułagu. Po upadku szefa NKWD Nikołaja Jeżowa 10 listopada 1938 roku aresztowany został także Jakow Sieriebrianski. Był przesłuchiwany i torturowany przez Wiktora Abakumowa, późniejszego szefa kontrwywiadu wojskowego Smiersz i ministra bezpieczeństwa państwowego. Skazano go na śmierć, lecz wyroku nie wykonano.