W 1858 do pałacu dobudowano oranżerię, latem adaptowaną na jadalnię.
Po śmierci ostatnich właścicieli Gładysz, braci Wilhelma-Christopha i Carla-Emanuela, którzy polegli w II wojnie światowej, ich matka i siostry opuściły pałac i udały się do Westfalii. Porzucony pałac został splądrowany i zdewastowany. Przechowywana w nim kolekcja 250 obrazów częściowo zachowała się w zbiorach Muzeum Warmii i Mazur. Pałac został zaadaptowany na magazyn PGR, a następnie całkowicie porzucony, po czym wydzierżawiony prywatnemu właścicielowi. W 1986 uległ zniszczeniu wskutek pożaru i od tego momentu pozostawał w ruinie.
Architektura Dwukondygnacyjny pałac w Gładyszach został wzniesiony w stylu barokowym na planie spłaszczonej litery H, kryty dachem mansardowym. Na osi elewacji frontowej znajdował się trójosiowy pseudoryzalit. Fasadę zdobił rząd pilastrów jońskich, które podtrzymywały naczółek z kartuszem herbowym Dohnów. Wnętrze obiektu dekorował Carl Florus zu Dohna, który zaprojektował na jego potrzeby sztukaterie, kominki i stolarkę artystyczną oraz współprojektował otaczający pałac ogród.