Na tle wzajemnej niechęci tych postaci dojrzewa też i tworzy się opozycja wśród rycerstwa i możnych, podżegana przez Mścisława z Bużenina, któremu władca uwiódł młodą żonę i jawnie uczynił swą kochanką. Po stronie króla pozostają coraz mniej liczni, m.in. Borzywój, Dobrogost, Zbilut, Zema i inni z rodu Jastrzębców należący do jego drużyny.
Tymczasem konflikt narasta powodując w końcu obłożenie władcy kościelną klątwą przez biskupa działającego w imieniu nieprzychylnej części poddanych. Reakcja porywczego monarchy prowadzi do tragicznej śmierci duchownego. Wywołuje to powszechne potępienie i zupełne odrzucenie władcy przez możnych i rycerstwo, którzy podejmując bezkrwawe oblężenie wawelskiego zamku, domagają się w ten sposób jego ustąpienia. Po dłuższym biernym oporze zrezygnowany Bolesław opuszcza Kraków udając się na Węgry. Spośród otoczenia jedynie sześciu synów Mszczuja Jastrzębca, ostatni Boleszczyce – już wcześniej wyklęci przez własny ród i odtrąceni przez innych – dochowują mu wiary i odchodzą z nim na wygnanie.