Jednak w 1156 r., gdy Fryderyk poślubił córkę i dziedziczkę hrabiego Burgundii Renalda III, Bertold musiał ustąpić z godności rektorskiej (Fryderyk objął samodzielnie kontrolę nad Burgundią). W zamian otrzymał jednak zwierzchnictwo nad biskupstwami Genewy, Lozanny i Sionu, łącznie z prawem inwestytury (później jednak w większości utracone) i pozostawał nadal w dobrych stosunkach z cesarzem; w 1157 r. uczestniczył w kolejnej włoskiej wyprawie Barbarossy, podczas której oddał cesarzowi znaczne usługi.
W 1160 r. doszło jednak do znacznych napięć w stosunkach między Bertoldem i cesarzem. Powodem był brak cesarskiej zgody na zatwierdzenie jako arcybiskupa Moguncji brata Bertolda, Rudolfa, mimo wyboru przez mieszkańców miasta. Konflikt pogłębiły działania cesarza w 1162 r.: odebranie Bertoldowi prawa inwestytury wobec biskupów Genewy oraz dokonany pod naciskiem Fryderyka rozwód potężnego księcia saskiego Henryka Lwa z siostrą Bertolda Klemencją. W związku z tym Bertold zaczął szukać sprzymierzeńca w osobie króla Francji Ludwika VII, wystąpił też przeciwko interesom Hohenstaufów w Szwabii stając po stronie Welfów w sporze z palatynem Tybingi, którego popierał Fryderyk IV szwabski, kuzyn Barbarossy.