Andronik III z Kantakuzenem na czele silnej armii, której trzon stanowiły oddziały tureckie, przeszli Tesalię, stłumili powstanie w Albanii i wcielili do Cesarstwa Epir i Akarnanię (1337). Anna i jej małoletni syn Nicefor, ogłoszony przez matkę despotą Epiru, zostali wywiezieni do Tesaloniki. Administrację w podbitym kraju przejął namiestnik cesarski protostrator Synaden.
W 1339 andegaweński zarządca Draczu wzniecił w Epirze powstanie mające przywrócić władzę Orsinim. Nicefor II został proklamowany w Arcie władcą Epiru, a Synaden znalazł się w więzieniu. Za wspieranym przez łacinników despotesem opowiedziały się jednak tylko nieliczne miasta, tak że wiosną 1340 Andronik III i Kantakuzen bez trudu opanowali sytuację, wkraczając do Epiru na czele niewielkiej armii. Nicefor II powrócił do Tesaloniki. Kantakuzen w swoim dziele z entuzjazmem wypowiada się o tym sukcesie, wskazując że – mimo wielu wysiłków – nie byli go w stanie osiągnąć poprzedni cesarze.
Rodzina W 1318 ożenił się z Adelajdą Brunszwicką, córką Henryka I, księcia Brunszwiku-Grubenhagen. Adelajda zmarła w 1324. Ze związku tego urodził się syn, który zmarł krótko po narodzinach w 1321.