W 1671 został sekretarzem wielkim litewskim, nieco później pisarzem wielkim litewskimUrzędnicy centralni i dygnitarze Wielkiego Księstwa Litewskiego XIV-XVIII wieku. Spisy". Oprac. Henryk Lulewicz i Andrzej Rachuba Kórnik 1994, s. 201.. Elektor Jana III Sobieskiego z województwa wileńskiego w 1674 rokuVolumina Legum, t. V, Petersburg 1860, s. 149.. W 1684 awansowany na biskupstwo smoleńskie, od 1687 biskup wileńskiHierarchia Catholica medii et recentioris aevi, t. V, Patavii 1952, s. 416. .
Był przeciwnikiem rodu Sapiehów. W 1689 roku został czynnie znieważony na sejmie w Warszawie przez posła opłaconego z kasy sapieżyńskiej. Zmuszony został osadzić w więzieniu zadenuncjowanego przez Sapiehów Kazimierza Łyszczyńskiego, oskarżonego o ateizm. Był jednym z sędziów, którzy podpisali jego wyrok śmierci.
W 1692 roku wdał się w nowy konflikt z Sapiehami sprowokowany osadzeniem na leżach zimowych w dobrach biskupich wojsk litewskich, dowodzonych przez hetmana wielkiego litewskiego Kazimierza Jana Sapiehę. Brzostowski uzyskał wówczas wsparcie króla Jana III Sobieskiego, który nie życzył sobie wzrostu wpływów sapieżyńskich w Wielkim Księstwie Litewskim.