15 marca 1909 miała miejsce jego chirotonia biskupia; został wówczas biskupem uglickim, wikariuszem eparchii jarosławskiej i rostowskiej. Ceremonia odbyła się w Ławrze św. Aleksandra Newskiego w Petersburgu, z udziałem konsekratorów: metropolity petersburskiego Antoniego, metropolity moskiewskiego Włodzimierza oraz metropolity kijowskiego Flawiana. Duchowny nie posiadał predyspozycji do pracy administracyjnej, wymaganej od przełożonego monasteru lub biskupa; zdecydowanie preferował życie zwykłego mnicha oparte na modlitwie, miał trudności w komunikacji z wiernymi i współpracownikami. Ponadto jeszcze w czasie sprawowania godności biskupa uglickiego ciężko zachorował. W latach 1920–1921 pozostawał wikariuszem tej samej eparchii z tytułem biskupa rostowskiego.
Po wybuchu rewolucji październikowej i rozwoju ruchu Żywej Cerkwi na terytorium eparchii jarosłowskiej i rostowskiej arcybiskup Józef nie opowiedział się ani po stronie odnowicieli, ani kanonicznej Cerkwi, zamykając się w monasterze św. Aleksego w Ugliczu i nie uczestnicząc w życiu publicznym. Mimo tego zyskał zaufanie locum tenens Patriarchatu Moskiewskiego, metropolity Piotra (Polańskiego), który w grudniu 1925 wskazał go jako jednego z kandydatów do objęcia funkcji locum tenens w razie swojego aresztowania przez bolszewików.