Po wojnie przez dwa lata pracował jako nauczyciel w Małej Turze k. Płośnicy. W tym właśnie czasie postanowił, iż poświęci się pracy duszpasterskiej. W rezultacie trafił do Gorzowa, gdzie 31 maja 1953 ukończył Wyższe Seminarium Duchowne. Święceń kapłańskich udzielił mu abp Walenty Dymek.
Praca duszpasterska Swą posługę pełnił w wielu miejscach, jednak od 3 września 1967 w sposób szczególny związany był z Choszcznem, gdzie pracował przez 31 lat. Był inicjatorem powstania nowych parafii na terenie powiatu choszczeńskiego i odbudowy świątyń. Napływ ludności na te tereny z różnych stron Polski stawiał przed kapłanem nowe wyzwania. Między innymi dążył on do zintegrowania ludności napływowej. Działania te utrudniane były przez ówczesne władze, które represjonowały Kościół.
W uroczystościach pogrzebowych ks. Jana Abramskiego uczestniczył arcybiskup metropolita szczecińsko-kamieński dr Zygmunt Kamiński i ponad 140 księży. Dla upamiętnienia jego osoby i zasług, władze Choszczna podjęły uchwałę o nadaniu nazwy ulicy Księdza Prałata Jana Abramskiego.