W tymże 1885 ożenił się z Amalią Heleną z domu Krusche, pochodzącą z zamożnej niemieckiej rodziny przemysłowców, współwłaścicieli tkalni bawełny w Pabianicach. Miał pięcioro dzieci: 4 córki (m.in. Helenę) i syna – Stefana. W 1888 ksiądz Bursche został przeniesiony do Warszawy, gdzie szybko awansował w hierarchii kościelnej. Od 1895 do 1904 był radcą Konsystorza, w roku 1904 car Mikołaj II mianował go superintendentem Kościoła Ewangelicko-Augsburskiego w Królestwie Polskim. Uroczystość wprowadzenia w urząd biskupi (instalacja), odbyła się 22 stycznia 1905Bp dr Juliusz Bursche – biografia z oficjalnej strony internetowej Kościoła Ewangelicko-Augsburskiego w Polsce. w kościele Świętej Trójcy w Warszawie. Mieszkał wraz z rodziną na plebanii przy ul. Królewskiej, a następnie w tzw. domu konsystorskim przy ul. Wierzbowej 2.