Do rozwodu chwilowo nie doszło, gdyż Małgorzatę pochłonęły intrygi polityczne w Szkocji. W 1520 r. doszło do potyczki na ulicach Edynburga między klanem Douglasów i Hamiltonów. Albany, który po fiasku negocjacji między Henrykiem VIII a królem Francji Franciszkiem I na Polu Złotogłowia odzyskał zaufanie dworu francuskiego i niedawno wrócił do Szkocji, próbował utrzymać spokój w kraju. W 1522 r. ponownie udał się do Francji. Korzystając z tego książę Norfolk na rozkaz Henryka VIII uderzył na pogranicze. Szybki powrót Albany’ego z francuskimi posiłkami zmusił Norfolka do wycofania się, ale Szkoci wciąż pamiętający Flodden nie odważyli się na kontynuację natarcia.
Albany próbował rządzić twardą ręką. Małgorzata ponownie musiała udać się na wygnanie, zaś czołowi jej stronnicy zostali ścięci. Taka polityka nie wzbudzała entuzjazmu wśród szkockich wielmożów. Pozbawiony większego poparcia Albany w maju 1524 r. opuścił Szkocję, by już nigdy do niej nie wrócić.