Pierwszą obronną budowlę wybudowano na wystającym, jak wyspa ponad bagnistą okolicę, pasie gruntu. Ówcześni posiadacze wyspy (węg. sziget, czytaj: siget) nazywający siebie „Szigethi” (Wyspiarze), uważali za budowniczego zamku jednego z członków ich rodziny, Anthemiusa. Jego wnuk, Oszvald Szigethi, wybudował pierwszą twierdzę – okrągłą, trzypiętrową wieżę mieszkalną, która później stała się sercem wewnętrznego zamku. Otaczające wyspę bagienne jeziora z czasem stały się płytsze i z tego powodu otoczono ją ziemnymi szańcami. Posiadaczem zamku był najpierw Garayak, a potem Bálint Török, na którego dworze żył do 1541 r. Sebestyén Tinódi Lantos, węgierski poeta i lutnistahttps://mek.oszk.hu/00300/00355/html/ABC15363/15747.htm Magyar életrajzi lexikon szerint (Węgierski leksykon biograficzny).. W 1543 r. zamek trafia w posiadanie Ferdynanda I Habsburga. XV-wieczne dokumenty mówią o nim raczej jako o mieście na planie prostokąta, już wtedy otoczonym palisadą miejscem obronnym, niż jako o oppidum.