Z tego okresu zachowała się wzmianka w kronice Bazylianów z Białej Podlaskiej: „Ojca Tymoteusza proboszcza sworskiego znieważyli, cerkiew splądrowali, pytając o pieniądze, małżonkę jego pobili, mordowali, skrzynie porąbali, pieniądze i szaty zabrali, a sam proboszcz schował się”. Od 1836 r. do 1840 r. wieś była własnością książąt Świetopełk-Mirskich. W 1867 r. parafia licząca 1700 wiernych za obronę organów zapłaciła kontrybucję, oprócz kary więzienia i nahajek kozackich. W 1874 r. naczelnik wojskowy chciał przymusem ochrzcić wszystkie dzieci, ale determinacja unitów doprowadziła do zmiany tych planów. Przez siedem lat parafia była okrutnie wyjątkowo prześladowana przez wojsko rosyjskie. Na początku XX połowa mieszkańców Swór wyemigrowała z wioski zakładając okoliczne wsie Pólko, Pojelce, Zabłocie.
We wsi znajdują się trzy cmentarze, obecny założony w 1905 r. najstarszy założony w 1805 r. w pobliżu starej szkoły, na którym znajdowała się cerkiew greckokatolicka świętego Eliasza. Trzeci założony w polu koło Pólka w 1818 r. Cerkiew została rozebrana w 1926 r. Z drewna świątyni dobudowano starą szkołę. Na miejscu świątyni obecnie znajduje się wielki wyżłobiony kamień. Kiedy w 1905 r. car Mikołaj II wydał dekret tolerancyjny, mieszkańcy Swór wznieśli kościół katolicki.