W 1891 ponownie zwrócili się do biskupa płockiego, dodatkowo też do arcybiskupa w Warszawie, z prośbą o erygowanie parafii.
Mimo że już w 1849 kaplica wystawiona w 1798 była już zniszczona, przetrwała do 1891. Wówczas rozebrano ją, a drewno przeznaczono do budowy nowego kościoła. Wykorzystano też drewno z kościoła w Kadzidle, bo w międzyczasie powstała tam nowa murowana świątynia.
Parafię w Dąbrówce erygował biskup płocki Michał Nowodworski 10 lutego 1894. Objęła Dąbrówkę, Szkwę odłączoną od parafii w Ostrołęce, Nasiadki i Płoszyce. W 1947 do parafii dołączono wsie Gąski, Bienduszkę i Przeczniak wydzielone z parafii Zbójna.
Współcześnie 8 września 2010 biskup łomżyński Stanisław Stefanek wydał dekret ogłaszający kościół parafialny w Dąbrówce wraz z kaplicą na miejscu objawień Sanktuarium Najświętszej Maryi Panny Dąbrowskiej, Królowej Ludu Kurpiowskiego, patronki leśników i pszczelarzy. Odpusty w sanktuarium obchodzone są: w niedzielę przed lub po 26 lipca, kiedy wypada wspomnienie św.