Kaplica przeszła wówczas do parafii pw. Wniebowzięcia Najświętszej Marii Panny (franciszkanów, następnie parafialnego) w Pińsku, należącej do diecezji łuckiej, a po jej zniesieniu przez Katarzynę II w r. 1798 – do diecezji mińskiej.
Jesienią 1784 r. Duboję odwiedził podczas podróży na sejm w Grodnie Stanisław August. Król spędził tu półtora dnia, w tym 7 września, kiedy przypadała dwudziesta rocznica jego elekcji. Rocznicę uświetniono m.in. uroczystą mszą w kaplicy, którą odprawił ks. Arciszewski, franciszkanin z Drohiczyna Poleskiego, otoczony duchowieństwem trzech rytów.
Duboja należała do rodziny Kurzenieckich przez trzy pokolenia. Po sprzedaży ich majątku kaplica przez pewien czas stała nieczynna i zaniedbana. W latach osiemdziesiątych XIX w. Duboję nabył bogaty warszawski przedsiębiorca Karol Jan Szlenkier, który podjął próbę odnowienia budowli. Jednak ze względu na protest miejscowego duchownego prawosławnego, który rościł sobie prawa do kaplicy, odstąpił od tego zamiaru.