Po paru tygodniach sprawowania regencji książę Gloucester zdecydował się przejąć tron. 22 czerwca 1483 zażądał korony dla siebie. Ogłosił, że dzieci Edwarda i Elżbiety pochodziły z nieślubnego związku, gdyż Edward w momencie ślubu z królową był już związany przysięgą z lady Eleonorą Talbot. Zdominowany przez stronników księcia parlament uznał jego rację i 25 czerwca ogłosił detronizację Edwarda V. Korona przeszła na księcia Gloucester, od tej pory króla Ryszarda III.

thumb|300px|left|Edward i Ryszard w Tower, obraz Delaroche’a Tajemnica twierdzy Tower Po detronizacji były król i jego brat zostali odosobnieni w twierdzy Tower. Na początku lipca powstał spisek celem uwolnienia chłopców, jednak Ryszard III uprzedził fakty i nie dopuścił do jego realizacji. Przed sanktuarium, gdzie przebywała Elżbieta Woodville, postawił swego zaufanego człowieka aby uniemożliwić kontakty matce Edwarda z kimkolwiek z zewnątrz.

W lipcu 1483 r. Edwarda i Ryszarda widziano po raz ostatni bawiących się na dziedzińcu pałacowym.