Historia Osiedle w miejscu dzisiejszego Zwolenia istniało już w epoce kamienia, następnie w epoce brązu i w czasach rzymskich. W VIII w. okolice dzisiejszego miasta zasiedlili Słowianie. Już w XI w. ze względu na strategiczne położenie – na szlaku handlowym Via Magna – królowie Węgier zbudowali powyżej obecnego miasta pierwszy zamek (następnie rozbudowany), nazwany później „Pustym”. Pierwsza pisemna wzmianka o Zwoleniu pochodzi z 1135 r. Około 1230 r. król Węgier Bela IV nadał Zwoleniowi – ówcześnie jednej z kilku osad pod Pustym Zamkiem – prawa miejskie; późniejszy przywilej je odnawiający pochodzi z 28 grudnia 1243. Od 1359 r. Zwoleń, jako jedno z pięciu miast na ziemiach słowackich, miał przywilej prowadzenia raz w roku dwutygodniowego jarmarku. Miasto stało się siedzibą władz komitatu Zólyom. W XV w. Zwoleń liczył około 750 mieszkańców, głównie Słowaków.
W XIV w. król Ludwik I wzniósł nowy zamek, który w XVI w. przejął funkcje Pustego, spalonego w 1451 r. przez wojska Jana Hunyadyego. W zamku często rezydował król Maciej Korwin;