Zamek został podczas potopu szwedzkiego obsadzony przez żołnierzy szwedzkich, którzy jednak zostali wycięci podczas potyczki z czeladzią obozową Stefana Czarnieckiego w dniach 14–15 lipca 1656 roku. Walki spowodowały jednak częściowe zniszczenie zamku i kaplicy. Kolejne zniszczenia nastąpiły w okresie tzw. wojny północnej na początku XVIII wieku oraz w 1772 roku podczas oblężenia przez wojska rosyjskie konfederatów barskich. Po III rozbiorze Polski, władze pruskie poleciły rozebrać zamek.
Kościół ewangelicki W 1824 roku car Aleksander I przekazał ruiny gostynińskiej parafii ewangelickiej grupującej nowo przybyłych osadników niemieckich z przeznaczeniem na kościół. Projekt architektoniczny opracował prawdopodobnie znany architekt Hilary Szpilowski, a budowla w stylu neogotyckim została wzniesiona pomiędzy latami 1825 a 1840 przy wykorzystaniu fragmentów dawnego zamku książęcego, który został wtopiony w jej mury. Budynek służył ewangelikom do 1945 roku.
Po zakończeniu II wojny światowej kościół zajęła parafia rzymskokatolicka, która użytkowała go do 1978 roku. Opuszczone wzgórze zamkowe przejęły Zakłady Sprzętu Oświetleniowego “POLAM”, z zamiarem utworzenia zakładowego domu kultury.