W latach 1891–1919 parafia huszlewska obejmowała wiernych z Bordziłówki i Leśnej Podlaskiej, na skutek skasowania tamtejszej parafii, nieistniejącej formalnie już od roku 1875, kiedy to skasowano całą diecezję bialską. Klasztor w Leśnej zamieniono na prawosławny żeński monaster.
Podczas I wojny światowej Rosjanie zrabowali kościelne dzwony, a Niemcy organy. W dniu 11 maja 1932 roku, kościół został konsekrowany przez biskupa podlaskiego Henryka Przeździeckiego. Podczas ofensywy Armii Czerwonej w 1944 roku dach i sufit kościoła zostały uszkodzone przez artylerię. Restauracja kościoła miała miejsce w latach 1945–1946.
Kościół parafialny pw. św. Antoniego Padewskiego
Kościół zbudowano w stylu neogotyckim. Murowany z cegły i kamienia polnego na planie prostokąta 28 X 13 m. z częścią prezbiterialną w kształcie trapezu, wydzieloną przez dwie kruchty. Wysokość wnętrza kościoła wynosi 15,8 m. Wnętrze oświetlają trzy pary wysokich, ostrołukowych okien z witrażami wykonanymi współcześnie oraz dwa okna w prezbiterium z witrażami z 1899 roku, wykonanymi przez zakład św. Łukasza w Warszawie, przedstawiającymi Matkę Bożą Bolesną i św. Jana. Pod postaciami umieszczono herby Korybut i Ślepowron.