Lata 1770-1776 spędził Grem we Fromborku jako wikariusz katedralny we Fromborku, gdzie był jednocześnie wicesekretarzem kapituły katedralnej. W październiku 1776 biskup Krasicki powierzył Gremowi parafię w Bartągu, w miejsce zmarłego Piotra Pawła Loberta. W parafii tej Tomasz Grem spędził resztę życia.
Jako proboszcz Grem za największą bolączkę uznał brak oświaty wśród dzieci i młodzieży, w czym upatrywał też przyczyn niskiego poziomu moralnego mieszkańców oraz ich przywiązania do zabobonów. Dostrzegał zarówno słabe zainteresowanie oświatą (w piśmie z listopada 1783 zauważył, że na terenie parafii do szkół uczęszcza zaledwie 20 dzieci, podczas gdy z jego wyliczeń wynikało, że powinno uczniów być 176), jak i wyjątkowo niski poziom nauki. Lekcji udzielały zazwyczaj przypadkowe osoby, np. rzemieślnicy, same o niskim poziomie wiedzy, i do tego w zupełnie nieprzygotowanych warunkach. Grem przeprowadził w parafii dokładne obserwacje, które opisał w kronice kościelnej w Bartągu. Podjął też aktywną akcję na rzecz poprawy sytuacji, wysyłając pisma do władz rządowych i kościelnych. W odpowiedzi na jedno z pism z rejencji w Kwidzynie przygotował w 1781 plan rozlokowania szkół na terenie parafii bartąskiej.