W latach 1512–1529 od parafii odłączyło się Miasteczko Krajeńskie. Od 1578 roku Brzostowo należało do parafii w Miasteczku. W tym samym roku część Brzostowa należała Piotra Potulickiego, wojewody kaliskiego(12 łanów, w tym 1 opustoszały). Druga część należała do Stefana Chrząstowskiego(ok. 2,5 łana, uprawianych zapewne przez folwark). Wieś leżała wtedy w powiecie nakielskim, województwa kaliskiegoWojciech Boiński: Dzieje Miasteczka Krajeńskiego, s. 29.Atlas historyczny Polski. Wielkopolska w drugiej połowie XVI wieku. Część II. Komentarz. Indeksy, Warszawa 2017, s. 251.. W 1580 r. dział Piotra Potulickiego przeszła do J. Wałdowskiego. potem w 1653 Stefan Grzybowski, a w 1695 P. Zagrocki. W XVII w. we wsi było 8 właścicieli gruntów, płacących na rzecz kościoła po 4 rzeszetniki żyta i po 2 owsa. W latach 1724–1740 wieś stanowiła własność rodziny von Goltz, między innymi należała do Herninga Bernharda von Goltz, rotmistrza Jego Królewskiej Mości, a potem Karola von Goltz. W 1740 Brzostowo zostało sprzedane za 120 000 talarów Antoniemu Szembekowi ze Słupowa, kasztelanowi nakielskiemu. Jego następcą majątku w 1762 został biskup płocki Krzysztof Hilary Szembek (ur. 1722 w Białej k. Trzcianki).