Drewniany dworek Wyszomirskiego znajdował się w Kolonii Brzozów na terenie obecnej posesji Pieniaków. Jedyną pozostałością po niegdyś istniejącym zespole są stare lipy i jesiony.
Położenie Wieś duchowna Brzozow położona była w 1795 roku w ziemi drohickiej województwa podlaskiegoKarol de Perthées, Mappa Szczegulna Woiewodztwa Podlaskiego, 1795. W latach 1975–1998 miejscowość należała administracyjnie do województwa siedleckiego. Główna część domów rozciągnięta jest wzdłuż drogi. Od wschodu Brzozów bezpośrednio graniczy ze wsią administracyjnie odrębną o nazwie Brzozów-Kolonia. Na południu zaś znajduje się Zapaśnia, zawdzięczająca swoją nazwę położeniu "za pasem" pól. Zapaśnia to miejscowość należąca pod względem administracyjnym do Kolonii Brzozów. W Brzozowie mieszkała matka Ottona Warpechowskiego (1917-1945), archeologa i historyka regionu Podlasia i Mazowsza, który zasłynął uratowaniem Zamku w Liwie przed rozbiórką. Sam Otto Warpechowski również mieszkał jakiś czas w Brzozowie, ukrywając się przed hitlerowcami.