Natomiast w 1929 jednym z liderów josifiaństwa został biskup woroneski Aleksy (Buj), za sprawą którego stanowisko Józefa poparła cała eparchia woroneska, znaczna część tambowskiej i kurskiejD. Pospielovsky, The Russian Church…, s.158.
Od lutego 1928 Józef (Pietrowych) przebywał w monasterze św. Mikołaja w Modeńsku. W 1929 został aresztowany przez NKWD, podobnie jak większość jego zwolennikówD. Pospielovsky, The Russian Church…, s.168. W 1931 wywieziony na zesłanie do Kazachstanu, został osadzony we wsi LeninskojeСВЯЩЕННОМУЧЕНИК ИОСИФ (ПЕТРОВЫХ). Duchowny w tajemnicy odprawiał nabożeństwa, podróżował do Ałma-Aty, by służyć tam w świątyniach katakumbowychАСТАНАЙСКАЯ И АЛМАТИНСКАЯ ЕПАРХИЯ i stał się opiekunem duchowym podziemnej żeńskiej wspólnoty mniszej kierowanej przez ihumenię Ewę (Pawłową)Святая преподобномученица Ева игумения, Чимкентская память 14 (27) августа.
W 1937, na fali masowych prześladowań prawosławnego duchowieństwa w ZSRR, został ponownie aresztowany, oskarżony o prowadzenie działalności kontrrewolucyjnej, po czym skazany na śmierć i rozstrzelany pod Czymkentem razem z metropolitą Cyrylem (Smirnowem), arcybiskupem Eugeniuszem (Kobranowem). W momencie śmierci nie należał do kanonicznego Rosyjskiego Kościoła Prawosławnego.