Jego nominacja była jedną z ostatnich oficjalnych nominacji papieskich dla biskupów w komunistycznych Chinach. Wkrótce władze ChRL zerwały stosunki ze Stolicą Apostolską i wzmogły prześladowania katolików.
Bp Peter Joseph Fan Xueyan po raz pierwszy został aresztowany i skazany na 15 lat obozu pracy w 1958 za odmowę akceptacji Patriotycznego Stowarzyszenia Katolików Chińskich. Więziony był w obozach w Laisui, Huanghua i Anxin. W 1969 został przeniesiony do rodzinnej wsi, gdzie nadal podlegał nadzorowi i reformie poprzez pracę. 15 kwietnia 1978 został aresztowany za działania kontrrewolucyjne.
14 stycznia 1980według innych źródeł w 1979 został zwolniony i zezwolono mu powrócić do posługi biskupiej w Baodingu. Udało mu się nawiązać kontakt listowny z papieżem Janem Pawłem II i w latach 1980-1982 potajemnie wyświęcił czterech biskupów dla Kościoła podziemnego. Gdy zostało to odkryte przez władze, bp Fan Xueyan 13 kwietnia 1982 ponownie został aresztowany i skazany na 10 lat obozu pracy za zmowę z siłami zagranicznymi w celu podważenia suwerenności i bezpieczeństwa ojczyzny. W obozie był zmuszany do ciężkiej pracy fizycznej.