Andronik, zawsze cieszący się ogromnym powodzeniem u kobiet, przebywając na dworze Antiochii uwiódł Filippę, siostrę cesarzowej Marii, żony Manuela. Uciekając przed gniewem cesarza zbiegł na dwór króla Jerozolimy, Amalryka I, który oczarowany Andronikiem nadał mu seniorat Bejrutu. Wkrótce wdał się w kolejny romans, tym razem z Teodorą Komneną, bratanicą Manuela, wdową po królu Jerozolimy Baldwinie III. Królowa-wdowa przeniosła się do Bejrutu i zamieszkała z Andronikiem. Gdy cesarz dowiedział się o tym, wpadł we wściekłość i zdecydował się pojmać i oślepić kuzyna. Kochankowie uciekli do Damaszku, gdzie przyjął ich życzliwie władca Syrii, Nur ad-Din. Następnie przebywali w Bagdadzie, na Kaukazie i Sułtanacie Rum. Tam nawet nadano Andronikowi zamek w Paflagonii, blisko bizantyjskiej granicy, gdzie zajmował się rozbójnictwem. Gdy ok. 1178 Teodora wraz z dziećmi została pojmana przez namiestnika Trebizondy, Andronik pojawił się na dworze w Konstantynopolu, wybłagał u swojego kuzyna przebaczenie i możliwość powrotu do Paflagonii.