Wobec dużego napływu ludności polskiej po I wojnie światowej zachodziła konieczność wybudowania nowego obiektu sakralnego. W 1921 zakupiono restaurację „Concordia” z bardzo wielką salą i ogrodem od właściciela – pana Karnata za sumę 14 000 000 marek polskich i przystąpiono do przebudowy. Prace wykonywał budowniczy M. Olkowski z Grudziądza. Dnia 1 października 1922 roku dokonano poświęcenia kaplicy przez ks. prałata Dembka z parafii św. Mikołaja z Grudziądza. Po przebudowie według projektu inż. Jaszkowskiego z Torunia, kościół zostaje poświęcony 23 grudnia 1923. Kościół pw. Najświętszego Serca Pana Jezusa stanowił tzw. kurację (filię) fary.
15 marca 1934 roku Małe Tarpno oraz północna część Tuszewa zostają włączone w granice administracyjne Grudziądza. Powierzchnia miasta wynosiła wtedy 28,31 km². 1 lipca tego samego roku tutejszy kościół erygowano jako samodzielną parafię. Proboszczem zostaje ks. Jan von Blericq. 18 lutego 1940 w Małym Tarpnie urodził się Ryszard Milczewski-Bruno – poeta, laureat wielu nagród.
W czasie działań wojennych w 1945 roku kościół został doszczętnie spalony. W latach 1946–1948 odbudowano go od nowa dzięki zaangażowaniu urzędującego wiele lat po wojnie ks.