Jeszcze w tym samym roku polecono mu wyjazd do Petersburga, gdzie służył przez kolejne cztery lataГАВРИИЛ.
Na wniosek ordynariusza eparchii twerskiej, arcybiskupa Sawy, został nominowany na biskupa starickiego, wikariusza tejże eparchii, zaś 14 grudnia 1886 wyświęcony na biskupa w Ławrze Aleksandra Newskiego. Jako biskup Gabriel (Gołosow) kierował również Monasterem Chłopięcym w Twerze, który wyremontował i w którym zorganizował szkołę psalmistów. Od 1894 zasiadał w komisji archiwalnej eparchii twerskiej; w wymienionym roku wydał opis dziejów Monasteru Chłopięcego. Był również odpowiedzialny za organizację nowych szkół parafialnych w eparchii, zwiększając ich liczbę z 20 do 200.
W 1897 został przeniesiony do eparchii wołogodzkiej, także jako wikariusz, z tytułem biskupa wielkoustiuskiego. Starał się o utworzenie odrębnej katedry wielkoustiuskiej, do czego ostatecznie, ze względów finansowych, nie doszło. W Wielkim Ustiugu wzniósł nowy budynek szkoły żeńskiej i utworzył towarzystwo wspierające najbiedniejsze uczennice. Założył również przytułek i dom pracy oferujący zatrudnienie w warsztatach bezrobotnym, otworzył szkołę misjonarzy działających wśród staroobrzędowców.