Somerset należał do stronnictwa księcia Suffolk, faworyta królowej Małgorzaty Andegaweńskiej. W 1449 r. złupił miasto Fougères, mimo iż trwał rozejm z Francją. Król Karol VII zażądał odszkodowania, ale Suffolk i Somerset odmówili. W 1450 r. Francuzi najechali Normandię. W listopadzie Somerset został oblężony w Rouen. W zamian za bezpieczny odjazd dla siebie i rodziny oddał Francuzom Rouen i okoliczne miasta. Utrata Normandii wywołała rozruchy w kraju i spowodowała upadek Suffolka.
Do władzy doszedł przedstawiciel stronnictwa Yorków, Ryszard Plantagenet, 3. książę Yorku. W październiku 1451 r. parlament oskarżył Somerseta o niegodne sprawowanie władzy i książę został uwięziony. W grudniu jednak król Henryk VI, pod wpływem swojej żony, uwolnił Somerseta i powierzył mu urząd komendanta Calais i kontrolera finansów dworu królewskiego. Atak choroby psychicznej Henryka VI w 1453 r. spowodował, że York ponownie doszedł do władzy, a Somerset został osadzony w Tower of London. Pod koniec 1454 r. Henryk odzyskał zmysły. Somerseta wypuszczono z Tower i ponownie powierzono komendę nad Calais.