Rozbierano ją sukcesywnie przez następne lata, zaś ostatecznie obiekt został zniszczony w latach 50. XX wieku, gdy fragmenty średniowiecznych murów zburzono chcąc uzyskać materiał pod budowę drogi.
Pałac w Sadłowie W samym centrum miejscowości mieści się zabytkowy pałac, wcześniej własność kolejnych dziedziców, obecnie w administracji Gminy Rypin. W latach 2017–2018, przy wsparciu środków unijnych i gminnych, został gruntownie odnowiony, wymieniono dach, wykonano izolację ścian i murów, wymieniono instalacje a na zewnątrz położono nową elewację wraz z wymienionymi wszystkimi oknami. Prace prowadzone były pod nadzorem konserwatora zabytków. Pałac obecnie jest jednym z najbardziej atrakcyjnych zabytków architektury w powiecie rypińskim. W jego wnętrzach mieszczą się pracownie malarskie i rzeźbiarskie, sala wystaw i inne ekspozycje. Planowane jest utworzenie pokoi hotelowych na potrzeby plenerów artystycznych i zakwaterowania gości przybywających do Sadłowa na zaproszenie władz gminy i regionu. W pałacu mieści się Ośrodek Pracy Twórczej z pracowniami artystycznymi oraz salami wystawowymi. Organizowane są zajęcia artystyczne dla dzieci oraz rokrocznie plener dla twórców. Ponadto w pałacu ma swoją siedzibę filia Fundacji Na Rzecz Rozwoju Społeczeństwa Obywatelskiego Jaskółka proponująca m.in.