Do ostatecznego rozłamu między królem a Bourbonem doszło po śmierci żony Karola, Zuzanny w 1521. Zuzanna zostawiła wszystkie swoje ziemie właśnie jemu, ale matka króla – Ludwika Sabaudzka, kuzynka Zuzanny, zgłosiła pretensje do ziem oparte na pierwszeństwie krwi nad więzami małżeńskimi w dziedziczeniu. Ludwika zaproponowała rozwiązanie problemu poprzez ślub jej i Karola, ale ten odmówił ożenku z 14 lat od siebie starszą królową. Za karę, za namową matki, Franciszek I skonfiskował część ziemi Burbonów, zanim jeszcze przejął je Karol. Konetabl wiedząc, że nie ma szans odzyskania ziem, zawarł sekretny sojusz z wrogami króla – ofiarował swoje usługi cesarzowi Karolowi V Habsburgowi. Konetabl, cesarz i król Anglii – Henryk VIII Tudor wymyślili plan podzielenia Francji na części, którego nigdy nie zrealizowano. Spisek został wykryty w 1523 i za tę jawną zdradę Karol stracił swój urząd – musiał uciekać do Włoch, gdzie wstąpił w służbę cesarską. W 1524 walczył w Lombardii z Francuzami pod wodzą Bonniveta, oraz w bitwie pod Pawią.