z czasem wokół twierdzy rozwinęło się również miasto. Zamek często zmieniał właściciela, ponieważ należał naprzemiennie do królów duńskich i książąt Południowej Jutlandii. W 1490 roku forteca stała się własnością duńskiej korony i dzięki Janowi Oldenburgowi i jego synowi Chrystianowi II Oldenburgowi stanowiła jedną z najmocniejszych fortec w państwie. W latach 1532–1549 w murach warowni przetrzymywany był ostatni katolicki władca Danii – wspomniany już Chrystian II Oldenburg (zwany również Okrutnym). W połowie XVI wieku (lata 1549-1557) król Chrystian III Oldenburg przekształcił fortecę w czteroskrzydłowy zamek u architekta Herculesa von Oberberg (1517–1602). Zachowano zachodnie skrzydło króla Jana Oldenburga i dodano trzy dalsze skrzydła w nowym, renesansowym stylu. Po śmierci Chrystiana III Oldenburga w 1559 roku Hercules von Oberberg zbudował wyjątkową kaplicę zamkową (1568–1570) dla królowej matki Doroty Saskiej. Swój obecny kształt warownia uzyskała w czasie ostatniej większej przebudowy jaka miała miejsce w pierwszej połowie XVIII wieku. W latach 1718–1726 Fryderyk IV Oldenburg odbudował zamek w stylu barokowym u wykonawcy Wilhelma von Platen. Podczas wojny napoleońskiej i wojen duńsko-niemieckich zamek służył jako szpital wojskowy, a od 1864 do 1919 r. był koszarami pruskimi.