Dnia 9 lutego 1925 r. na prośbę ks. Abramowicza biskup wileński Jerzy Matulewicz powierzył mu parafię św. Rocha w Białymstoku i zadanie wybudowania kościoła. Budowę rozpoczęto od ogłoszenia w czasopiśmie „Architektura i Budownictwo” (14 kwietnia 1926 r.) konkursu na projekt Świątyni Opatrzności Bożej w Białymstoku. Efektem budowy, którą ukończono dopiero po wojnie, w 1946 roku, jest kościół św. Rocha w Białymstoku, jeden z najwyższych kościołów w Polsce (78 metrów).
W okresie międzywojennym był również redaktorem miesięcznika „Jutrzenka Białostocka” (od 1928 roku) oraz ogłosił szereg prac publicystycznych na łamach czasopism katolickich.
Podczas II wojny światowej ks. Abramowicz prowadził działalność społeczną, pod przykrywką przedszkola prowadzono tajne nauczanie, pomagał w ratowaniu Żydów. Był dwukrotnie więziony przez Niemców, brany również jako zakładnik. Był kapelanem Białostockiego Okręgu Armii Krajowej, został odznaczony Krzyżem Niepodległości z Mieczami i Krzyżem Walecznych.
W 1947 roku Abramowicz otrzymał tytuł prałata papieskiego. Zmarł 4 czerwca 1969 r. i został pochowany przy kościele św.