Przez kilka lat pracował jako nauczyciel, a w 1934 został ordynowany biskupem prawosławnej diecezji Szanghaju.

W Szanghaju biskup Jan kontynuował budowę soboru i starał się pogodzić wspólnotę prawosławną podzieloną ze względów etnicznych. Zaangażował się też w działalność w istniejących instytucjach charytatywnych i osobiście założył sierociniec i dom dla dzieci ubogich. Wtedy właśnie po raz pierwszy stał się znany dla cudów przypisywanych jego modlitwie, a jako osoba publiczna nie mógł już do końca ukrywać ascetycznego trybu życia jaki prowadził. Mimo że w czasie japońskiej okupacji z powodów duszpasterskich zignorował polecenie opuszczenia Szanghaju, władze japońskie nie czyniły mu przeszkód działalności. Jako jedyny prawosławny biskup w Chinach który odmówił podporządkowania się Cerkwi rosyjskiej pozostającej pod wpływami władz ZSRR, w 1946 został podniesiony do godności arcybiskupa przez Święty Synod Rosyjskiej Cerkwi Prawosławnej Poza Granicami Rosji.

Kiedy w Chinach do władzy doszli komuniści, wspólnota rosyjska w Chinach została zmuszona do opuszczenia kraju – początkowo osiedlając się w obozie dla uchodźców na filipińskiej wyspie Tubabao, następnie w Stanach Zjednoczonych i Australii.