Biskup Dzięki protekcji metropolity moskiewskiego Filareta w październiku 1841 rektor Moskiewskiej Akademii Duchownej został nominowany na biskupa ryskiego, wikariusza eparchii pskowskiej. Metropolita Filaret wskazał na niego z uwagi na jego znajomość języka niemieckiego i niemieckiej teologii protestanckiej. Filaret (Gumilewski) przyjął chirotonię biskupią 21 grudnia 1841 w soborze Kazańskiej Ikony Matki Bożej w Petersburgu. Na ziemiach łotewskich i estońskich otworzył 63 nowe parafie z 20 wolno stojącymi cerkwiami oraz 43 tymczasowymi świątyniami. Jego działalność sprawiła, iż znalazł się w konflikcie z miejscową niemiecką szlachtą i w 1848 został przeniesiony na katedrę charkowską. W nowej eparchii opiekował się szkołami duchownymi, dbał o funkcjonowanie seminariów duchownych i monasterów, wznosił nowe cerkwie i odnawiał już istniejące. W 1857 otrzymał godność arcybiskupią. Dwa lata później przeniesiony na katedrę czernihowską i nieżyńską, gdzie prowadził analogiczną działalność. Prowadził także pracę duszpasterską w więzieniach. Był również znany jako znakomity kaznodzieja. Szczególną sławę zyskały jego kazania pasyjne, jakie wygłaszał w okresie Wielkiego Postu.