Nazwa Svínoy oznacza dosłownie Wyspa Świń i jest prawdopodobnie związana z hodowlą tych zwierząt przez osadników wikińskich. Wśród mieszkańców Wysp Owczych krąży legenda dotycząca tej nazwy. Mieszkańcy wsi Viðareiði na wyspie Viðoy mieli maciorę, która co roku miała młode, mimo iż w okolicy nie było żadnego knura. Świnia znikała czasem ze wsi, dlatego postanowiono zawiesić na jej ogonie pęk kluczy. Dzięki temu ludzie mogli śledzić zwierzę, które pewnego dnia wskoczyło do wody i zaczęło płynąć w stronę południowego wschodu. Mieszkańcy wsi podążyli za nią i już niedługo odkryli wyłaniającą się z mgły dryfującą wyspę zamieszkałą przez wiele świń. Kiedy tylko żelazo z ogona wiejskiej wsi znalazło się na lądzie zatrzymał się on i został na zawsze przytwierdzony do dna oceanu.
W okolicach współczesnego kościoła mogło znajdować się we wczesnym średniowieczu miejsce kultu pogańskiego. Świątynie powstawały później wielokrotnie, na co dowodem jest informacja o rozbiórce w roku 1828, jednak prawdopodobnie były one niszczone wskutek trudnych na Wyspach Owczych warunkach klimatycznych. Obecny budynek pochodzi z roku 1878.