W nauczaniu katechetycznym ks. Szulborski kładł silny nacisk na wartości patriotyczne, ucząc młodzież miłości do ojczyzny mimo trwającego jeszcze wówczas zaboru rosyjskiego. W relacjach parafian wspominano jego charakterystyczny sposób prowadzenia lekcji religii – pytaniami zachęcał dzieci do wymieniania znanych krajów, aż któreś z nich nieśmiało odpowiadało: „O Polsce, proszę księdza”.

Tragiczny koniec jego posługi nastąpił w czasie wojny polsko-bolszewickiej w 1920 roku. W sierpniu tego roku oddziały sowieckie zajęły okolice Mławy. Pomimo namów wiernych do ucieczki, ks. Szulborski odmówił, mówiąc, że „pasterz musi trwać przy swoich wiernych”. Gdy bolszewicka kawaleria wkroczyła do wsi, przyjął ją na plebanii, starając się łagodzić ich zachowanie.

Podczas walk o Wyszyny 21–22 sierpnia 1920 roku, gdy mieszkańcy schronili się w piwnicy plebanii, ksiądz modlił się z nimi na różańcu. Kiedy do budynku wtargnęli funkcjonariusze bolszewickiej policji, uspokajał ludzi słowami: „Uspokójcie się, załatwię i wrócę do was”. Były to jego ostatnie słowa. Został wyprowadzony nad staw dworski i zamordowany przez żołnierzy bolszewickich, którzy zadali mu kilka ciosów bagnetem.