W latach 1919–1920 kierował polskim komitetem plebiscytowym podczas przygotowań do plebiscytu na Mazurach. W marcu 1920 został superintendentem Kościoła Ewangelicko-Augsburskiego w odrodzonej Polsce. W 1928 objął stanowisko prezesa Rady Kościołów Ewangelickich w Polsce. W 1930 Uniwersytet Warszawski nadał mu tytuł doktora honoris causa.
W 1922 bezskutecznie kandydydował do Senatu RP, z pierwszego miejsca listy №10 (Unia Narodowo-Państwowa) w okręgu warszawskimJ. Gumiński, Obwieszczenie: Wybory do Senatu. Warszawa, dnia 24 października 1922 r..
Ksiądz Bursche był zdolnym, niezwykle energicznym organizatorem życia religijnego i cenionym kaznodzieją, autorem wielu rozpraw historycznych z zakresu historii Kościołów reformowanych, oraz założycielem i wydawcą pism: „Zwiastun Ewangeliczny” (1898–1914) oraz „Gazeta Mazurska” (1922–1939). W dwudziestoleciu międzywojennym działał usilnie nad zorganizowaniem silnego polskiego Kościoła Ewangelicko-Augsburskiego. Jako zwierzchnik tego Kościoła utrzymywał ożywione stosunki z wieloma czołowymi przedstawicielami ówczesnych rządów RP. Był inicjatorem uchwalonej w 1936 ustawy o stosunku swojego Kościoła do Państwa Polskiego. W tym samym roku we wrześniu wydał manifest do ludności ewangelickiej w Polsce, potępiający nazizm i ideologię hitlerowską.