W roku 1910 majątek nabyła rodzina Heydlów. Najpierw właścicielem był Zdzisław, a następnie jego syn Wojciech, do którego Brzóza należała do 1941 roku. Rodzina Heydlów doznała wielu represji z powodu niemieckich korzeni. Zdzisław Heydel w czasie I wojny światowej został przez władze rosyjskie posądzony o szpiegostwo i wraz z rodziną wywieziony do Moskwy, skąd wrócił w 1917. Podczas okupacji niemieckiej Adam w wyniku działalności konspiracyjnej został aresztowany (wraz z bratem Wojciechem) w majątku w Brzózie. Obydwaj ponieśli śmierć w obozie Auschwitz-Birkenau.
Po wojnie dobra brzóskie zostały rozparcelowane. W latach 1964–1966 w miejscu wyburzonego pałacu powstała szkoła tysiąclatka.
Zabytki We wsi znajduje się neogotycka, jednonawowa świątynia pw. św. Bartłomieja. Powstała ona (w miejscu spalonego w pożarze 6 października 1845 roku drewnianego kościoła) w latach 1854–1856 staraniem gen. Adama Ożarowskiego pod nadzorem Ignacego Leopolda Essmanowskiego. W kościele znajduje się barokowa, rzeźbiona w drewnie ambona z XVIII wieku, sprowadzona z opactwa cystersów w Oliwie. Z Oliwy pochodzi także cykl płaskorzeźb dłuta Andrzeja Götckena z 1635 roku. Dzwon kościelny pochodzi z połowy XIX wieku. Przy drodze do Ryczywołu znajduje się pochodząca z początków XIX wieku figura św.