W 1881 parafia zakupiła teren nazywany tabaczane pole, położony nad kanałem Trynka, gdzie w 1889 zbudowano plebanię. W 1894 powstał też nowy cmentarz położony za laskiem miejskim, przekształconym później w park. W tym samym roku doszło do zamknięcia poprzedniej nekropolii położonej przy obecnej alei 23 Stycznia, jednak sporadyczne pochówki odbywały się tam w kolejnych latach. Brama nowego cmentarza powstała w 1897, a jego teren był następnie kilkukrotnie powiększany, m.in. w 1917.
W sąsiedztwie nowej plebanii 21 maja 1896 został położony kamień węgielny pod budowę kościoła. 19 czerwca 1898 miało miejsce ostatnie nabożeństwo w Kościele Fryderyka, a dzień później odbyło się poświęcenie nowego kościoła ewangelickiego, posiadającego wielokrotnie więcej miejsc siedzących od poprzedniej świątyni. Stary kościół rozebrano 16 października 1899.
Z powodu rozrostu garnizonu grudziądzkiego kościół św. Ducha stał się zbyt mały na jego potrzeby. W związku z tym w latach 1897–1900 wybudowano nowy kościół garnizonowy w Grudziądzu na 1000 miejsc siedzących, który poświęcony został 18 czerwca 1900. W uroczystości tej udział wziął Friedrich Heinrich Hohenzollern. Po otwarciu tej nowej świątyni ewangelickiej, kościół św.