W 1723 przygotowania do budowy murowanego korpusu podjął proboszcz Franciszek Niski, który podpisał kontrakt o budowę kościoła z architektem Bajem (Karolem Bayem lub Janem Bayem) . W 1739 roku biskup płocki Antoni Sebastian Dembowski skierował do Ostrołęki "architekta z Jabłonny", a w 1740 dokonano rozliczenia z architektem "Bajem". W rezultacie w miejscu drewnianej zbudowano w latach 1739–1740 murowaną nawę w stylu barokowym. Dalsze prace wykończeniowe przy świątyni prowadzono przez kolejne lata. W 1751 roku Wincenty Rachetti wykonanał sklepienie zakrystii, następnie przemurowywano zakrystię i prezbiterium, wykańczano kaplicę, dachy kryte dachówką oraz wnętrze kościoła.
Do 1763 roku kościół został otynkowany i oszklony, a we wnętrzu ustawiono drewnianą ambonę. W 1773 roku świątynię ponownie konsekrował biskup kujawski Jan Dembowski, działając za zgodą biskupa płockiego Hieronima Antoniego Szeptyckiego. Kościół otrzymał wezwanie Nawiedzenia Najświętszej Maryi Panny, a św. Mikołaj pozostał jego współpatronem. Prace budowlane i wykończeniowe trwały do lat 80. XVIII wieku, kiedy świątynia uzyskała zasadniczy barokowy kształt zachowany do XX wieku.