Po śmierci Balassy w 1559 majątek przeszedł na własność wdowy po nim, Barbary z domu Fánchyovej. W rękach tej rodziny twierdza pozostawała aż do połowy XVII w. W 1678 Bzovík zajęły wojska powstańców Imre Thökölyego. Po ich wycofaniu osiedli tu jezuici, a po kasacie zakonu stał się siedzibą seminarium ostrzyhomskiego. W tych czasach zamek został przebudowany w stylu barokowym za sprawą biskupa ostrzyhomskiego Juraja Szelepcsényiego, o czym informuje tablica pamiątkowa przed wejściem na teren zamku. Biskupi zarządzali majątkiem aż do roku 1908, kiedy go sprzedali.
Budowla bardzo ucierpiała w czasie II wojny światowej i po niej. Zburzono wówczas romańską wieżę i rozebrano część murów wewnętrznych. W 1969 rozpoczęto stopniowe prace badawcze, dokumentacyjne i konserwatorskie.
Pierwotny romański kościół, zbudowany z bloków kamiennych, miał dwie wieże. Od północnej strony przylegała gotycka zakrystia i klasztor z wirydarzem i okalającymi go krużgankami. Monumentalne fortyfikacje z czterema narożnymi okrągłymi basztami były dodatkowo chronione fosą. Do poszczególnych baszt wchodziło się z murów albo przez gotycko-renesansowe portale. Na niektórych zachowały się inicjały S. B. (Sigismundus Balassa) i data 1545.