Władysław II zmarł 14 lutego 1163, a rządy po nim objął kolejny stryj Stefana III - Stefan IV. Nowy władca został koronowany przez arcybiskupa Kalocsy, więc także z punktu widzenia prawa był antykrólem. Stefan IV, popierany przez cesarza bizantyjskiego Manuela I Komnena, nie cieszył się w kraju popularnością. Za sprawą Łukasza Banffiego na Węgrzech wybuchł bunt przeciwko uzurpatorowi - na jego czele stanął przywódca rodu Csáków. Początkowo Stefan IV odnosił sukcesy w walce z buntownikami; poczuł się tak pewnie, że odesłał nawet bizantyjski korpus posiłkowy.

19 czerwca 1163 pod Székesfehérvárem Stefan IV został pokonany i dostał się do niewoli. Stefan III odzyskał tron. Stefan IV po uwolnieniu zbiegł do Bizancjum. Jesienią 1163 próbował bezskutecznie odzyskać tron.

W takiej sytuacji Manuel I Komnen zaoferował Stefanowi III - za pośrednictwem Jerzego Paleologa - sojusz. Postawił też pewne warunki: na dwór cesarski trafi młodszy brat Stefana III, Bela, który otrzyma od brata w zarząd Sirmium, Chorwację i Dalmację;