W 1535 książę Kleve, Jülich i Bergu Jan nakazał rozbudowę zamku w twierdzę. Zburzono wówczas większość średniowiecznych murów i w ciągu kilkudziesięciu lat zbudowano nowoczesne fortyfikacje z czterema okrągłymi bastionami połączonymi systemem umocnień. Po wygaśnięciu dynastii Sparrenburg wraz z hrabstwem Ravensbergu przypadł Brandenburgii. W początkach wojny trzydziestoletniej umocnienia rozbudowano. W 1623 zamek zdobyły wojska cesarskie, a w czasie wojny był jeszcze kilkakrotnie oblegany i zdobywany. Po wojnie powrócił w ręce brandenburskie, a elektor Fryderyk Wilhelm I wielokrotnie tu rezydował (m.in. tu urodziła się dwójka spośród jego dzieci), a pod koniec jego życia wzniesiono tu kościół. W latach 70. XVII w. ponownie był dwukrotnie oblegany podczas wojny z Francją.
W połowie XVIII w. zamek stracił znaczenie militarne. W 1743 część budynków zniszczono, a część wyremontowano i urządzono w nich więzienie, istniejące do pożaru w 1877. W czasie jego istnienia dokonano licznych przebudów, m.in. w 1842 zastąpiono zrujnowaną średniowieczną wieżę