Rozważano wobec tego, że Mateusz mógłby objąć władzę nad Lemnos do czasu, gdy Manuel zwolni stanowisko zarządcy Morei. Przeciwko kandydaturze Mateusza wypowiedział się jednak garnizon na Lemnos. Gdy ponadto na życie Mateusza został zawiązany spisek pertraktacje utknęły w martwym punkcie.

W 1356 Mateusz, przy pomocy pięciu tysięcy Turków, zaatakował znajdujący się w rękach serbskich rejon miasta Seres, próbując odbudować swoje dawne apanaże wzdłuż granicy bizantyńsko-serbskiej. Nie udało mu się zdobyć Seres. Pod koniec 1356 lub na początku 1357Według Cawleya w lutym 1356 został pokonany przez wojska serbskie dowodzone przez władającego Dramą wojewodę Vojina. Schwytany przez Serbów Mateusz został, po zapłaceniu wysokiego okupu, wydany w ręce Jana V. Ten uwięził go na Lesbos. Pod koniec 1357 Mateusz został przewieziony na wyspę Epitabai na morzu Marmara, do zamku wzniesionego przez Aleksego Apokauka, gdzie zaproponowano mu, by zrzekł się tytułu cesarskiego i przyjął status zwykłego obywatela cesarstwa. Mateusz początkowo odrzucił propozycję, twierdząc, że woli całe życie spędzić w więzieniu niż zrzec się tytułu. W grudniu 1357 na Epitabai przypłynął ojciec Mateusza, mnich Joazaf.