Edward zadał potężny cios potędze rodu Godwina, doprowadzając do rozwiązania najemnej floty, jednej z głównych podpór potęgi Godwina. Do tego doszedł jeszcze spór o obsadę stolicy arcybiskupiej w Canterbury. Król odrzucił kandydata Godwina i powierzył to stanowisko Normanowi, Robertowi z Jumièges.
Do generalnego starcia doszło w 1051 r., kiedy do Edwarda przybył w odwiedziny jego krewniak i przyjaciel z czasów wygnania, Eustachy II z Boulogne. Podczas drogi powrotnej orszak Eustachego zatrzymał się w Dover i bezceremonialnie zażądał noclegu od mieszczan. W efekcie wybuchły rozruchy, w wyniku których zabito kilku ludzi z orszaku kuzyna Edwarda, hrabiego Eustachego II z Boulogne. Godwin, którego jurysdykcji podlegały te tereny, odmówił ukarania winnych. Zebrał natomiast armię i ruszył przeciwko Edwardowi do Gloucester, ale tym razem przecenił swoje siły. Earlowie Leofric i Siward stanęli po stronie Edwarda i Godwin musiał udać się na wygnanie. We wrześniu 1051 r. został pozbawiony wszystkich tytułów i godności. Królowa Edyta została wysłana do klasztoru w Wherwell.