Kościoła podziemnego – uznającego prymat papieża i działającego nielegalnie wobec władz komunistycznych.
Sakrę biskupią przyjął potajemnie, w jedności z papieżem Janem Pawłem II. Źródła różnią się co do daty tego wydarzenia. Według niektórych źródeł przyjął sakrę już w 1981, natomiast według innych dopiero 12 sierpnia 1988 z rąk biskupa Tianshui Casimira Wanga Milu. Współkonsekratorem był biskup Zhengdingu Julius Jia Zhiguo (według innego źródła głównym konsekratorem był Julius Jia Zhiguo).
Jako ordynariusz położył nacisk na kształcenie nowych księży i sióstr zakonnych. W 1983 został ponownie aresztowany i przebywał w więzieniu do 1987. Podczas uwięzienia nakreślił program dla Kościoła w Chińskiej Republice Ludowej, za najważniejsze zadania uznając odbudowę kościołów, promowanie młodego pokolenia liderów katolickich oraz opiekę nad starszymi zakonnicami i księżmi.
Brał udział w utworzeniu podziemnej Konferencji Episkopatu Chin i uczestniczył w jej pierwszym i jedynym spotkaniu w listopadzie 1989, podczas którego został wybrany jej wiceprzewodniczącym. Organizacja została szybko rozbita przez chińskie służby bezpieczeństwa, które aresztowały uczestników zjazdu. Bp Yang został aresztowany w Boże Narodzenie 1989.