W 546 roku cesarz powierzył mu misję wykrycia i wykorzenienia potajemnie pozostających przy pogaństwie mieszkańców Konstantynopola i obszarów przyległych. Po wytypowaniu podejrzanych Jan rozpoczął śledztwo, którego częścią były także tortury tych, którzy – jak sam pisał – „popełnili straszny błąd pogaństwa”. Wyniki pracy Jana wykazały, iż wielu wpływowych ludzi czciło starych bogów, co zdaniem części historyków wskazuje, iż religijny charakter dochodzenia był tylko przykrywką dla rozprawy z niepokornymi arystokratami.
Pomyślność Jana skończyła się po 565 roku, kiedy to do władzy doszedł Justyn II, nieskory do tolerowania monofizytów. Za jego zgodą Jan III, ortodoksyjny patriarcha Konstantynopola, rozpoczął prześladowania wspólnot nie przyjmujących postanowień Soboru Chalcedońskiego na terenie Imperium. Jan również padł ich ofiarą, a opis cierpień, których doznał, zawarł w swoich Historiach. Bezpośrednie przyczyny jego śmierci nie są znane.
Przekład w języku polskim Jan z Efezu, Historia kościelna (fragm.), [w:] Greckie i Łacińskie źródła do najstarszych dziejów Słowian, cz. 1 (do VIII w.), przeł. i oprac. Marian Plezia, Kraków 1952, Prace etnologiczne, t. 3, s.