Ponadto, zbudowanie tego obiektu uniemożliwiło im korzystanie z drogi, którą dotychczas przedostawali się do młynu wodnego (własności opactwa), oraz którą przechodziły świąteczne procesje. O konflikcie, jaki narodził się w ten sposób między opactwem a Williamem Usshbornem, zarządcą pałacu królewskiego, wzmiankuje powstała w XV wieku Czarna Księga.
Podstawowym celem budowy i utrzymywania wieży było przechowywanie cennych przedmiotów należących do rodziny królewskiej. Parter był wykorzystywany w celach administracyjnych, zaś na piętrze pierwszym i drugim umieszczono kosztowności. Najcenniejsze przedmioty były prawdopodobnie magazynowane na drugim piętrze, chronionym podwójnymi, żelaznymi drzwiami. W 1450 roku jedno z pomieszczeń znajdujących się w wieży stało się więzieniem dla oskarżonego o zdradę Williama de la Pole, hrabiego Suffolk, przewiezionego w to miejsce z londyńskiej Tower.
W 1512 roku część Pałacu Westminsterskiego spłonęła w pożarze, zaś siedemnaście lat później Henryk VIII Tudor przeniósł swoją siedzibę do pałacu Whitehall. Jewel Tower zaczęła z tego powodu tracić na znaczeniu.