Mieszkańcy Dąbrówki niechętnie przyjmowali te warunki, więc bezskutecznie prosili o przyłączenie swojej wsi z powrotem do dóbr królewskich. Podczas bardzo surowej zimy 1642 r. jezuici dostarczali chłopom żywność i udzielali schronienia dzieciom, co skłoniło niechętnych do nawrócenia się na katolicyzm. Fakt, że źródła jezuickie wspominają tylko opór chłopów dąbrówskich wobec katolicyzmu, sugeruje, że chłopi z pozostałych wsi (Czernica, Krywel, Kniażyczka, Czołna, Czomodany) do tego czasu przyjęli już katolicyzm lub nie stawiali temu poważnego oporu.
Według niepotwierdzonych informacji kaplica została spalona przez kozaków w 1655 r. podczas wojny Carstwa Rosyjskiego z Rzecząpospolitą (1654-1667). Wzmiankę o zniszczeniu kaplicy znajdujemy tylko w skróconej wersji badania jezuickiego historyka ks. Stanisława Zaleskiego SJ, podczas gdy w pełnej wersji jej brakuje.
W 1668 roku w Czernicy zbudowano nowy kościół, od 1669 roku zaczęto prowadzić księgi metrykalne. thumb|250px|left|Nieistniejący kościół Nawiedzenia NMP na akwareli Napoleona Ordy W 1692 staraniem rektora Kolegium Jezuitów w Orszy o. Samuela Kościukiewicza SJ wybudowano większą drewnianą świątynię.
W 1708 r., podczas III wojny północnej, kościół został ograbiony przez wojska moskiewskie. Zabrano srebra kościelne, stroje kapłańskie i świece woskowe.