W 1284 z niewiadomych powodów zawiązał wówczas przeciw Przemysłowi spisek: jesienią 1284 opanował gród kaliski i przekazał księciu wrocławskiemu Henrykowi Prawemu.
W 1285 po odzyskaniu Kalisza przez Przemysła stracił swe dobra i wraz ze współrodowcem, wojewodą poznańskim Beniaminem został przez niego uwięziony. Powrócił w 1290 lub 1291 na odzyskaną, kasztelanię rudzką i zarazem na podkomorstwo kalisko–gnieźnieńskie, a jeszcze wcześniej w 1289 książę przywiesił pieczęć do aktu braci Jankowiców dla biskupstwa lubuskiego. Sędziwój jeszcze niejednokrotnie występował w otoczeniu Przemysła. W 1294 stracił kasztelanię rudzką. Władysław Łokietek, którego Zarembowie poparli solidarnie po śmierci Przemysła, na przełomie 1298/99 awansował go na kasztelana poznańskiego. Wraz ze współrodowcami brał udział w 1300 w przewrocie na rzecz Wacława II i z rąk tego króla otrzymał w latach 1301/02 urząd wojewody poznańskiego. Popadł w niełaskę w końcu 1305 lub na początku 1306 i utracił swój urząd. Jeszcze raz odzyskał go przy Henryku głogowskim, za którym Zarembowie z kolei się opowiedzieli.