Także Bataliony Wartownicze podporządkowane Ministerstwu Skarbu przemieniono na Bataliony Celne.

Z dniem 10 września 1921 ochronę granicy wschodniej przejęło Ministerstwo Spraw Wewnętrznych z podporządkowanymi sobie 22 batalionami celnymi. Powołany został Główny Inspektor Wojskowy granicy wschodniej, a pozostałe bataliony celne podporządkowano Komendzie Głównej Batalionów Celnych. Ochrona granicy z Litwą nadal była w kompetencji wojska.

Słabo zaopatrzone i wyposażone Bataliony Celne nie były w stanie zapewnić bezpieczeństwa granicy wschodniej. 23 maja 1922 Rada Ministrów podjęła uchwałę o rozformowaniu Batalionów Celnych i powołaniu podległej MSW Straży Granicznej. Granicy strzegło 36 batalionów Straży Granicznej. W Łomży powołano podoficerską Szkołę Graniczną. I tym razem wyniki działania formacji na wschodzie nie spełniły oczekiwań. Decyzję o rozwiązaniu Straży Granicznej przyspieszyła przeprowadzona demobilizacja. 1 lipca 1923 rozwiązano Straż Graniczną, a ochronę granicy przejęła Policja Państwowa we współudziale żandarmerii wojskowej. I te formacje nie były w stanie poradzić sobie z ochroną granicy wschodniej.