Pierwszymi panami zamku byli Súľovscy – właściciele wsi Súľov. Już jednak na początku XVI w. o zamek starał się Mikołaj Kostka – początkowo wierny Janowi Zápolyi, później jednak stronnik Ferdynanda Habsburga i – od 1529 r. wraz z bratem Piotrem – władca zamku Streczno. Łakomym okiem patrzeli na zamek również Podmaniccy z niedalekiego zamku Bystrzyca. Gdy Kostka zajął zamek Súľov, Podmaniccy wystąpili do króla ze sprzeciwem. Król zapewne go nie uznał, jednak późniejsze dokumenty wskazują, że Podmaniccy rzeczywiście władali przez jakiś czas Súľovem. W 1550 r. władca darował zamek Sebastianowi Sirmiensisovi, jednak Rafał Podmanicki ani myślał go opuścić. Wpływowy Sirmiensis rozpoczął długotrwałą sprawę sądową i wreszcie w 1552 r. wszedł w posiadanie warowni. Rodzina Sirmiensis-Súľovskich była jej właścicielem aż do upadku budowli. W 1550 r. zamek został zniszczony pożarem. Odbudowany został w poprzednich rozmiarach, ponieważ ukształtowanie terenu nie pozwalało na jego rozszerzenie. Późniejsze przebudowy i remonty obiektu miały miejsce w XVII w. Katarína Bošániova za zgodą cesarza Leopolda I Habsburga rozpoczęła w 1682 r. generalną renowację zamku. Nie starczyło jej jednak pieniędzy i sił – zmarła wkrótce na tyfus.