26 czerwca 1953 roku aresztowano Ławrientija Berię, jego zastępców oraz wyższy personel oficerski. Paweł Sudopłatow został aresztowany 26 sierpnia 1953 roku, rozkaz aresztowania podpisał Iwan Sierow. Został przewieziony na Łubiankę, gdzie osiadł jako więzień nr 8. Mimo jego stanowczych zaprzeczeń, jakoby spiskował z Berią, i oświadczeń, że cała jego działalność w organach bezpieczeństwa w ciągu ponad 30 lat była legalna, w 1958 roku, pięć lat po aresztowaniu został skazany przez Kolegium Wojskowe Sądu Najwyższego na 15 lat więzienia.
Zwolnienie i rehabilitacja Paweł Sudopłatow został zwolniony w 1968 roku, po czym starał się o rehabilitację i przywrócenie mu emerytury. Oczyszczony z wszystkich zarzucanych mu czynów został dopiero w 1998, dwa lata po swojej śmierci.
Życie prywatne W czasie służby na rodzinnej Ukrainie poznał pracownicę OGPU Emmę Karlownę Kaganową (1905–1989), późniejszą pułkownik bezpieczeństwa państwowego. Para wzięła ślub w 1928.