Zamek postawiono na pięciometrowej wapiennej skale. Składał się z budynku mieszkalnego i dwóch wież po jego bokach. Poniżej skały budowlę otaczał dodatkowy mur obronny, a całość była chroniona fosą, zasilaną przez Wag. Później u podnóża skały dobudowano mały dziedziniec ze studnią oraz wieżę obronną.
W 1433 roku zamek opanowali husyci. W kolejnych latach jego załogę stanowili żołnierze Jana Jiskry. Do połowy XV w. należał do majątków królewskich. Później jego właścicielami były, tytułem darowizny lub zastawu, kolejno rodziny Pongráczów, Zápolyów, Thurzonów i Balassich. Z tych ostatnich godzien jest wspomnienia Bálint Balassi (1554-1594), renesansowy poeta węgierski.
Dla przebudowy zamku najbardziej się przyczyniła kobieta – Magdalena Zayova. W latach 1600–1603 wybudowała obok zamku duży renesansowy dwór (kasztel), którego dwa skrzydła obejmowały starszą część budowli od zachodu i północy. Unowocześniła też mury obronne.