W marcu 1354 po potężnym trzęsieniu ziemi w rejonie Galipolu, które wypłoszyło stąd Bizantyńczyków, Galipoli zajął syn Orchana, Sulejman. Jan Kantakuzen bezskutecznie próbował, powołując się na przyjaźń łączącą go z Orchanem, odkupić zajęte miasto za wysoką cenę. W Konstantynopolu ludność ogarnęła panika. Doskonale zdawano sobie bowiem sprawę, że stolica jest odtąd bezpośrednio zagrożona przez Turków. Upadek Jana VI był nieunikniony.
Jan V porozumiał się w tym czasie z Genueńczykami. Korsarz genueński Francesco Gattilusio w zamian za przyrzeczenie ręki siostry cesarza Marii i największej wyspy, jaka pozostała Cesarstwu - Lesbos, zobowiązał się na swoich dwóch galerach przetransportować cesarza do portu w Konstantynopolu. W listopadzie 1354 spiskowcy wylądowali w stolicy. 4 grudnia Jan Kantakuzen abdykował i wstąpił do klasztoru w Konstantynopolu.
Mateusz utrzymał się w zachodniej Tracji. Jan V i Mateusz spotkali się w Tracji i uznali swoje tytuły cesarskie. Ponieważ terytorium Cesarstwa było już zbyt szczupłe dla dwóch cesarzy, uzgodniono więc, że Mateusz przekaże Trację Janowi, a sam obejmie Moreę. Na rozwiązanie takie nie wyraził jednak zgody, brat Mateusza, Manuel, który od kilku lat z powodzeniem rządził Moreą.