Po powrocie z wyprawy Aribert stanął w obliczu napięć społecznych z powodu sporów, które przeciwstawiły sobie wielką szlachtę i drobnych wasali (valvassores), którzy domagali się również dla swoich dóbr praw dziedziczenia – takich, jakie wielcy wasale otrzymali już począwszy od IX wieku. Po niepowodzeniu mediacji spór stał się otwarty – wyrzuceni z Mediolanu valvassores zgrupowani w tzw. lega della Motta – pokonali w 1036 roku w Campomalo, między Mediolanem a Lodi, oddziały arcybiskupa i wielkiej szlachty. W związku z rozwojem wypadków Aribert przysporzył sobie wrogów wśród drobnych wasali. W 1037 roku cesarz Konrad II dotarł do Mediolanu w charakterze rozjemcy. Jego kontakty z Aribertem pogorszyły się wskutek władzy, w którą urastał arcybiskup. Cesarz wyrzucony z Mediolanu zwołał do Pawii zgromadzenie, aby wysłuchać oskarżeń przeciw Aribertowi. Zaprosił również arcybiskupa, aby ten oczyścił się ze stawianych mu zarzutów. Aribert odmówił podporządkowania własnych działań sądownictwu cesarskiemu (argumentował, że jest cesarskim parem i nie musi ustosunkowywać się wobec zarzutów) i zdołał zbiec przed aresztowaniem (lub jak podają inne źródła został aresztowany i wkrótce zbiegł z niewoli).