Ostatnie posiadłości cesarstwa w Tracji były zajmowane przez Osmanów, którzy w 1365 roku zdobyli Adrianopol. Jedyną nadzieją na przetrwanie była, według Jana, pomoc zbrojna z łacińskiej Europy. W 1369 cesarz osobiście odwiedził papieża a następnie udał się do Wenecji, gdzie porozumiał się w sprawie długów. Weneccy kupcy zgodzili się na umorzenie pod warunkiem przekazania im wyspy Tenedos, leżącej i zachodnich wybrzeży Azji Mniejszej. Opuszczając Konstantynopol cesarz pozostawił swoich synów- Manuela i starszego Andronika, którzy mieli zarządzać resztkami imperium pod jego nieobecność. Andronikowi przypadł Konstantynopol, Tracja i wyspy w cieśninie Bosfor, w tym Tenedos. Gdy dowiedział się o porozumieniu które Jan zawarł z Wenecjanami, wpadł we wściekłość i odmówił wydania im wyspy. Wobec tego Wenecjanie przez dwa lata więzili Jana aż do momentu gdy młodszy syn, Manuel, wstawił się za ojcem.