W 1477 r. razem z matką i ciotką, Elżbietą York, księżną Suffolk została Damą Orderu Podwiązki. Po śmierci ojca w 1483 r. Elżbieta razem z młodszym rodzeństwem została uznana za nieślubne dziecko (Edward miał przed ślubem z Elżbietą ożenić się z lady Eleonorą Talbot) i odsunięta od dziedziczenia. Jej bracia – Edward V i Ryszard zaginęli (zginęli?) w niewyjaśnionych okolicznościach.
Na tron wstąpił jej stryj Ryszard III a Elżbieta wraz z matką i żyjącymi siostrami: Cecylią, Anną, Katarzyną i Brygidą schroniła się ponownie w Opactwie Westminsterskim. Około kwietnia 1484 r. Elżbieta Woodville pogodziła się z Ryszardem III w efekcie czego Elżbieta opuściła opactwo.
Kiedy w 1485 r. Ryszardowi zmarła żona Anna Neville, pojawiły się pogłoski, że Ryszard planuje ślub z Elżbietą.
Te plotki wzbudziły zaniepokojenie na kontynencie, gdzie przebywał Henryk Tudor, 2. hrabia Richmond, od 1471 r. kandydat stronnictwa Lancasterów na króla Anglii. Jego własne prawa do tronu były dość nikłe – jego matka, Małgorzata Beaufort, pochodziła od Jana, 1. hrabiego Somerset, nieślubnego syna Jana z Gandawy, młodszego syna Edwarda III. Hrabia Somerset został wprawdzie uznany za legalnego syna, ale odsunięty od dziedziczenia.