W późniejszych latach wybudowano boisko sportowe, na którym w 1912 roku odbyły się zawody. W restauracji „Zamkowa”, położonej niedaleko murów, znajdowała się sala do ćwiczeń gimnastycznych.
W okresie dwudziestolecia międzywojennego ruiny zamku znalazły się pod zarządem Wydziału Dróg Wodnych, przejęte z rąk Niemieckiej Inspekcji Wodnej jako własność państwowa. Z zachowanych murów jedynie wieża znajdowała się w dobrym stanie technicznym i służyła Wydziałowi Dróg Wodnych, podobnie jak za czasów pruskiego zaboru, do obserwacji Wisły i sygnalizowania nadchodzącego niebezpieczeństwa powodzi. Teren wokół ruin nie był wówczas ogrodzony i pozostałe mury nadal niszczały, dewastowane przez okoliczną ludność. Mimo zamurowanych wejść, w zachowanych pomieszczeniach podziemi wieży wykryto siedzibę i składnicę grupy przestępczej. W 1945 roku podczas walk w mieście uszkodzono krenelaż. Częściowa odbudowa zamku nastąpiła po II wojnie światowej w latach 70. i 80. XX wieku.
W czerwcu i sierpniu 2019 roku zamek został okradziony z cegieł przez nieznanych sprawców, w wyniku czego dewastacji uległ XIV-wieczny mur obronny.