W XX wieku W początkach XX w. właścicielem majątku w Brożówce był Walter Uhse. W czasie II wojny światowej wybudowany w połowie XIX w. dwór nad jeziorem Brożówka miał służyć jako rezydencja Himmlera, który swoją kwaterę polową o kryptonimie "Hochwald" miał w lesie koło Pozezdrza. Istnieje też wersja, że Himmler miał tego typu rezydencję w miejscowości Dejguny (spalona w 1945) położonej nad Jeziorem Dejguny. Fakt istnienia rezydencji Himmlera gdzieś nad jeziorem wynika z pamiętnika Felixa Kerstena – m.in. osobistego masażysty (współcześnie raczej bioenergoterapeuty) Himmlera. W okresie II wojny światowej, w zabudowaniach na terenie majątku, przez pewien czas był tu przetrzymywany przez Niemców Komendant Główny Armii Krajowej – Stefan Rowecki "Grot".
Po 1945 w Brożówce funkcjonował PGR, a majątek obecnie jest własnością prywatną, w pałacyku są kwatery agroturystyczne.
Zabytki parterowy dwór z poł. XIX W. o skromnym detalu neogotyckim, jest wkomponowany w bok zabudowań folwarcznych. kuźnia z podcieniemPiotr Skurzyński "Warmia, Mazury, Suwalszczyzna" Wyd. Sport i Turystyka – Muza S.A. Warszawa 2004 s.