w 1320 roku był wymieniany jako zamek królewski.
Perényiowie W 1389 roku król Zygmunt Luksemburski nadał Füzér wraz z przynależnymi dobrami synom Pétera Perényiego – Miklósowi, Jánosowi i Imremu. Od tego czasu zamek przez niemal dwa stulecia pozostawał związany z rodem Perényi. W XV i XVI wieku Perényiowie prowadzili na zamku rozległe prace budowlane, stopniowo przekształcając pierwotną warownię w reprezentacyjną rezydencję możnowładczą.
W 1506 roku Władysław II Jagiellończyk ponownie nadał zamek palatynowi Imremu Perényiemu. Z okresem jego działalności wiązana jest budowa późnogotyckiej kaplicy zamkowej, powstałej prawdopodobnie na przełomie XV i XVI wieku na miejscu starszej budowli sakralnej.
Święta Korona Węgierska Najbardziej znany epizod w historii zamku związany jest z kryzysem politycznym po klęsce wojsk węgierskich w bitwie pod Mohaczem w 1526 roku i śmierci króla Ludwika II Jagiellończyka.
Péter Perényi, który pełnił urząd strażnika korony, uczestniczył w koronacji Jana Zápolyi w Székesfehérvárze. Po koronacji nie odwiózł jednak Świętej Korony do jej tradycyjnego miejsca przechowywania w Wyszehradzie, lecz ukrył ją w należącym do niego zamku Füzér.