Cieniem na to kładło się jednak rozpanoszenie się na dworze Woodville’ów, krewniaków królowej. Denerwowało to zwłaszcza przedstawicieli możnych rodów, którzy nie mogli ścierpieć łask wyświadczanych parweniuszom, którzy z biegiem lat wywierali coraz większy wpływ na króla. Głównym ich wrogiem był książę Clarence, któremu, na własne nieszczęście, nie schodziła z pola widzenia wizja królewskiej korony. Po śmierci księcia Burgundii w 1477 r. pretendował do ręki jego jedynej córki i dziedziczki, Marii. Edward odmówił popierania kandydatury brata, co ten uznał za wynik działania Woodville’ów. Clarence wdał się w kolejne spiski i począł rozgłaszać, że małżeństwo Edwarda jest nielegalne (król podobno podczas ślubu z Elżbietą był już żonaty z lady Eleonorą Talbot).