W 1936 roku został wysłany do Hiszpanii jako doradca przy wojskach republikańskich.
Represje stalinowskie 17 sierpnia 1937 stał się ofiarą czystek stalinowskich w Armii Czerwonej, oskarżony o szpiegostwo dla wywiadów japońskiego i polskiego. W czasie śledztwa połączonego z torturami – m.in. wybito mu kilka przednich zębów, złamano 3 żebra, uderzano go młotkiem po palcach nóg, trafił do więzienia Kriesty w Leningradzie (17 sierpnia 1937 – 22 marca 1940). Pomimo tortur nie podpisał się pod oświadczeniem stwierdzającym, jakoby miał być „polskim szpiegiem”. Wielokrotnie było symulowane jego rozstrzelanie.
Żonę z córką wysiedlono z Pskowa i skierowano na osiedlenie do Armawiru.
Życie uratowała mu osobista interwencja dawnego przełożonego, nowego dowódcy Armii Czerwonej, marszałka Związku Radzieckiego Siemiona Timoszenki, który po niepowodzeniach Armii Czerwonej w wojnie fińskiej wyjednał u Józefa Stalina zwolnienie części oficerów uwięzionych w okresie wielkiej czystki.
Rokossowski po zwolnieniu z więzienia długie lata trzymał przy sobie – także pod poduszką w czasie snu – mały pistolet Browning, aby w wypadku próby powtórnego aresztowania popełnić samobójstwo.