Jej część została stracona natychmiast pod murami zamku. Po wymarciu rodu Levickich w roku 1553 zamek ponownie przypadł królowi, który włączył go w system obrony przeciw Turkom. W kolejnych latach rezydowali na nim kolejno przedstawiciele rodzin Dobóo (Franciszek Dobóo został w 1574 r. żupanem tekovskim), Kolonics, Csáky i Esterházy (od 1690 r.).
W połowie XVI w. zamek przebudowano, a w roku 1571 na dolnym dziedzińcu zbudowany został dwukondygnacyjny, renesansowy kasztel z narożnymi basztami. Kolejna rozbudowa umocnień miała miejsce w pierwszej połowie XVII w. M.in. krótko po 1635 r. zewnętrzny mur zamku połączono z miejskimi murami obronnymi, od których zamek oddzielała jednak fosa. Do tych prac, jak wspominają dokumenty sejmowe, zatrudnieni zostali poddani nawet z odległych terenów Orawy i Liptowa.
Zamek zapisał się w historii wojen z Imperium Osmańskim. Po raz pierwszy Turcy pojawili się pod murami levickiego zamku już w 1544 r., lecz go nie zdobyli. Udało im się to dopiero po długotrwałym oblężeniu, 2 listopada 1663 r. Już jednak rok później (12 czerwca 1664 r.) Turcy musieli opuścić zamek, a wkrótce, w wyniku przegranej bitwy pod Levicami (19 lipca 1664 r.), również cały region.