Zamek wykorzystywali królowie duńscy również jako bazę do polowań w okolicznych lasach. Jeszcze w 1592 r. polował tutaj Chrystian IV, zabijając 33 dzikiVerner Jensen: Vordingborg i tusinde år, 2006, str. 13.. W 1415 r. król Eryk Pomorski potwierdził średniowieczne przywileje handlowe Vordingborga. Króla posądza się jednak o to, że przed opuszczeniem Danii z wierzchołka Gęsiej Wieży kazał usunąć złotą gęś. Drogocenny symbol miasta rzeczywiście zniknął, ale trudno dzisiaj ustalić kto i kiedy skradł tę pamiątkę. Na ten okres przypada również koniec pomyślnego rozwoju miasta, a łączy się to z porzuceniem Vordingborga jako jednej z głównych siedzib króla i dworu. Odtąd duńscy monarchowie zaglądali tutaj coraz rzadziej, zwykle pojawiając się jedynie na polowania.
Po reformacji W 1550 r. w mieście powstała szkoła łacińska, która istniała do 1847 r. i zajmowała się kształceniem miejscowej młodzieży. Pierwsza duńska szkoła powstała w Vordingborgu dopiero w 1722 r. W XVII w. Vordingborg rozwijał się pomyślnie. Miasto miało 212 mieszkańców w 1637 r., których głównymi zajęciami były rzemiosło i handel. Pomyślny rozwój miasta przerwały zaraza w 1655 r. i najazd szwedzki w kilka lat później. W 1658 r. w Vordingborgu, który nie był broniony, pojawiła się armia szwedzka z królem Karolem X Gustawem na czele.