Aresztowany 1 sierpnia 1937, oskarżony o szpiegostwo na rzecz Japonii, był torturowany. Na tajnej rozprawie przez sądem wojskowym ZSRR 25 stycznia 1938 nie przyznał się do winy, został jednak skazany na rozstrzelanie. Wyrok wykonano tego samego dnia. Pochowano go na wykorzystywanym do rozstrzeliwań poligonie w rejonie sowchozu „Komunardka”.
Zrehabilitowany 3 kwietnia 1963 roku.
Wiele lat po jego śmierci jego przyjaciel, literaturoznawca Wiktor Szkłowski, napisał o nim: „Poliwanow był zwyczajnym genialnym człowiekiem. Najzwyklejszym genialnym człowiekiem”.
Działalność naukowa Poliwanow, pracując w sowieckim MSZ jako naczelnik Wydziału Wschodniego, opracowywał alfabety dla języka jakuckiego, azerskiego i uzbeckiego, kodyfikował te i inne języki oraz brał udział w organizacji szkolnictwa w językach miejscowych.
W czasie podróży do Japonii przeprowadził badania, w wyniku których określił system akcentowy języka japońskiego. Opisał system fonologiczny języka literackiego i szeregu dialektów. Przedstawił rekonstrukcję systemu fonologicznego języka starojapońskiego i hipotezę o pokrewieństwie języka japońskiego z językami austronezyjskimi. Jest autorem systemu transliteracji języka japońskiego w cyrylicy, znanego jako „system Poliwanowa” i używanego do dziś.