Automaattinen sisällönkuvailu on yleiskäyttöinen, alasta ja dokumenttityypeistä riippumaton menetelmä, jolla voidaan tuottaa yksityiskohtaisia kuvailuja nopeasti ja kustannustehokkaasti.Järvelin, Sormunen: ”Tiedon tallennus ja haku”, Ote informaatiosta. Johdatus informaatiotutkimukseen ja interaktiiviseen mediaan, s. 188. BTJ Kustannus, 2010. Tunnettuja esimerkkejä automaattista sisällönkuvailua käyttävistä palveluista tai teknologioista ovat Googlen hakukone ja Facebookin automaattinen kasvojentunnistus. Automaattisen sisällönkuvailun ongelmakohtia ovat luonnollisen kielen monitulkintaisuus sekä merkitysten tulkinnan vaikeus.
Automaattisen sisällönkuvailun menetelmät Automaattinen sisällönkuvailu voidaan jakaa kolmeen osaan kuvailtavan sisällön mukaan: keinotekoiseen kieleen, luonnolliseen kieleen ja ei-kielelliseen välineeseen. Tutkijat ovat väitelleet manuaalisen ja automaattisen sisällönkuvailun paremmuudesta, sillä molemmille menetelmille löytyy käyttökelpoisia kohteita. Automaattisten kuvailumenetelmien käyttö on perusteltua erityisesti silloin, kun manuaalinen kuvailu ei paranna hakutuloksia riittävästi suhteessa sen tuottamiin lisäkustannuksiin.
Taulukko 1. Automaattisen sisällönkuvailun vaihtoehtoja Automaattisen sisällönkuvailun vaihtoehtojaKeinotekoinen kieliTietokonetuettu asiasanoitusLuonnollinen kieliKokoteksti-indeksointiKlusterointiAutomaattiset tiivistelmätEi-kielellinen välineViittausindeksointiLinkki-indeksointiHahmoindeksointi
Keinotekoinen kieli Tietokonetuettu asiasanoitus Tietokonetuettu asiasanoitus tarkoittaa viitetietokantojen käyttöön kehitettyä algoritmista asiasanojen alustavaa valintaa.
Luonnollinen kieli
Kokoteksti-indeksointi
Kokoteksti-indeksointi (eng. Full text indexing) on automaattinen menetelmä, jolla dokumentin jokainen sana voidaan viedä tietokannan hakemistoon mahdollistaen sen hakemisen minkä tahansa sisältöön kuuluvan sanan perusteella.Alaterä, Halttunen, Sormunen, E:"Internetix, 2001-2005, Osa 5. Sisällönkuvailun perusteet. Kokoteksti-indeksointia sovelletaan Boolen malliin perustuvissa tiedonhakujärjestelmissä, ja sitä hyödynnetään seuraavasti: Indeksointiohjelma tunnistaa dokumentista erilliset merkkijonot. Kuhunkin merkkijonoon liitetään osoitetiedot, kuten dokumentin tunniste, niin sanottu kenttätieto (esiintyikö otsikossa, tiivistelmässä, leipätekstissä, tekijänimenä, tai vastaavana) sekä sijainti kentän sisällä (esimerkiksi 3. merkkijono). Merkkijonot osoitetietoineen aakkostetaan hakemistoksi eli käänteistiedostoksi (inverted file). Painokerroin (kokoteksti-)indeksointimenetelmä ottaa huomioon sanojen painoarvon dokumentin sisällönkuvaajina. Tällöin sanan tärkeys määräytyy yleensä termifrekvenssin (kuinka monta kertaa sana esiintyy dokumentissa) sekä käänteisen dokumenttifrekvenssin (verrannollinen sanan harvinaisuuteen koko tietokannassa) mukaan. Täsmäytysalgoritmi laskee eri dokumenteille vertailuluvut hakukyselyssä esiintyvien sanojen painokerrointen mukaan ja tuottaa hakutuloksen lajittelun vertailulukujen perusteella.Järvelin, Sormunen: ”Tiedon tallennus ja haku”, Ote informaatiosta. Johdatus informaatiotutkimukseen ja interaktiiviseen mediaan, s. 184-185. BTJ Kustannus, 2010.
Klusterointi
Klusterointi (eng. Clustering) on automaattinen luokitusmenetelmä, jolla kootaan toisiaan muistuttavat dokumentit yhteen klustereiksi.Alaterä, Halttunen, Sormunen, E:"Internetix, 2001-2005, Osa 5. Sisällönkuvailun perusteet. Se perustuu ryhmiteltävien dokumenttien samankaltaisuuden mittaamiseen niissä esiintyvien sanojen perusteella.Korenius: "Hierarkkinen klusterointi tiedonhaussa" Tampereen yliopisto, 2003, https://tampub.uta.fi/handle/10024/91015
Erikseen säädetään myös kynnysarvo, joka toimii samankaltaisuuden raja-arvona. Mikäli kahden dokumentin samankaltaisuus ylittää asetetun kynnysarvon, ne voidaan sijoittaa samaan ryhmään. Jos samaan ryhmään sijoitetaan useita dokumentteja, eri ryhmittelymenetelmät asettavat erilaisia vaatimuksia sille, kuinka monen muun ryhmään kuuluvan dokumentin kanssa kultakin dokumentilta vaaditaan samankaltaisuutta ja kuinka suurta sen tulee olla. Vähimmillään vaaditaan kynnysarvon ylittävä yhteys edes yhteen muuhun ryhmän dokumenttiin, enimmillään kaikkiin.Järvelin, Sormunen: ”Tiedon tallennus ja haku”, Ote informaatiosta. Johdatus informaatiotutkimukseen ja interaktiiviseen mediaan, s. 191-192. BTJ Kustannus, 2010.
Tekstin automaattinen tiivistäminen
Tekstin automaattinen tiivistäminen (engl. Automatic summarization) on kuvailumenetelmä, jossa tekstidokumentin sisällöstä tuotetaan automaattisesti lyhyempi tiivistelmä pyrkien samalla säilyttämään sen kannalta oleellinen sisältö. Tietokoneohjelman avulla tekstistä pyritään löytämään sitä parhaiten kuvaavat osiot, joista muodostetaan koherentteja lauserakenteita esimerkiksi valitsemalla sisällön kannalta merkitykselliseksi sijoitettuja avainsanoja. Lisäksi turhia siirtymäsanoja, lausekkeita ja pitkiä kuvailu- ja tarkennusketjuja poistetaan.http://smmry.com/about
Pääosin automaattisesti tuotetut tiivistelmät ovat luettavia, tiiviitä, ja niistä löytyy keskeisiä asioita. Ongelmia saattaa esiintyä: esimerkiksi useita aiheita sisältävistä teksteistä, joissa on monikollinen otsikko, tuotetut automaattiset tiivistelmät saattavat sisältää lauseita vain yhdestä aiheesta. Usein tiivistelmän lauserakenteen yhtenäisyys voi kärsiä pääosin anaforisten viittausten johdosta.Rintala: "Automaattinen tekstin tiivistäminen" Tampereen yliopisto, 2001, https://tampub.uta.fi/handle/10024/88688
Ei-kielellinen väline
Viittausindeksointi Viittausindeksoinnissa analysoidaan tieteellisissä julkaisuissa käytettyjä viittauksia.Alaterä, Halttunen, Sormunen, E:"Internetix, 2001-2005, Osa 5. Sisällönkuvailun perusteet. Tunnettu esimerkki on Thomson Reutersin Web of Science -tietokanta, johon on indeksoitu 2,6 miljoonaa dokumenttia yli 100 vuoden ajalta.Thomson Reuters: ”Web of Science” Thomson Reuters, 2015, http://wokinfo.com/
Linkki-indeksointi Linkki-indeksointi on tekniikka, jolla verkkosivulla olevien linkkien avulla määritellään sivun suhde muihin verkkosivuihin. Hakupalvelu voi käyttää näin muodostunutta kuvailutietoa hyödyksi.
Hahmoindeksointi
Piirrepohjainen kuva-analyysi tuottaa kuvan sisältöä, kuten värisisältöä ja tekstuuria edustavat piirrevektorit, joita voidaan verrata verrokkikuvasta valmiiksi laskettuihin malleihin, eli piirrevektoreihin.Järvelin, Sormunen: ”Tiedon tallennus ja haku”, Ote informaatiosta. Johdatus informaatiotutkimukseen ja interaktiiviseen mediaan, s. 202-205. BTJ Kustannus, 2010.
Piirrepohjaisten algoritmien ongelmana on ollut se, että ne ovat pystyneet tunnistamaan kuvista vain suhteellisen matalan abstraktiotason piirteitä. Aiemmin piirrevektoreita sovellettiinkin sisällön luokittelussa vain erityistarpeisiin, kuten kuvahakuun lääketieteen kuvajärjestelmistä. Sosiaalisen median suosion myötä piirrepohjaisen kuva-analyysin, etenkin kasvojentunnistuksen sovellusalueella tutkimus on edennyt huomattavasti. Esimerkiksi Facebookin kasvojentunnistusominaisuudet tulivat käyttäjien saataville vuonna 2011.Patosalmi: "Sosiaalisen median uhat yksittäisille käyttäjille - yliopisto-opiskelijan näkökulma" Oulun yliopisto, 2014, s. 31, http://herkules.oulu.fi/thesis/nbnfioulu-201405281529.pdf
Kasvojentunnistustehtävä voidaan määritellä yksinkertaisesti: etsitään ennalta tunnettujen henkilökuvien joukosta tiedonhaussa määriteltyä tuntematonta henkilöä vastaava kuva.Driessen, Dürmuth: "Achieving Anonymity Against Major Face Recognition Algorithms" Ruhr-University Bochum, 2013, s. 1,10, https://eprint.iacr.org/2013/009.pdf
Taulukko 2. Kasvojentunnistusprosessin eteneminen Kasvojentunnistusprosessin eteneminen0. kuva1. havaitseminen2. normalisointi3. erottaminen4. tunnistaminen5. tunniste 1. Syötekuvasta arvioidaan kasvojen sijainti 2. Kuva normalisoidaan kääntämällä kasvot suoraan ja mahdollisesti poistamalla ylimääräinen tausta kuvasta. 3. Algoritmiriippuvaiset piirrevektorit eristetään kuvasta. Näin jäljelle jää vain tunnistusalgoritmin kannalta tarpeellinen informaatio. Ihannetapauksessa muodostunut piirrevektori on yleispätevä, immuuni muutoksille valaistuksessa, kasvojen ilmeessä tai asennossa. 4. Syötekuvan tunnistevektoreita verrataan hakutietokannan tunnistevektoreihin ja etsitään vastaavuus. 5. Tulokset, eli tunnisteet järjestetään vastaavuusjärjestykseen. Parhaimman vastaavuuden saanut hakutietokannan kuva on todennäköisesti samasta henkilöstä kuin syötekuva. Hakutietokannasta voidaan osuman tai lähimmän vastaavuuden kohdalta palauttaa indeksoitu tieto, yleensä nimi.
Piirrepohjaisilla videoanalyysimenetelmillä on samoja rajoituksia kuin kuva-analyysissa, mutta kameran ja kohteen liike antavat lisää mahdollisuuksia. Liikkuvalla kuvalla on aikaan perustuva rakenne, joka koostuu yksittäisistä kuvista, otoista sekä kohtauksista. Tämän rakenteen tunnistaminen ja merkitseminen on yksi prosessin vaiheista. Kuvien lisäksi videosta voidaan analysoida ääntä, erityisesti puhetta.
Jatkuvan puheen puheentunnistin on menetelmä, jossa puhe tunnistetaan ja puretaan kirjoitetuiksi sanoiksi. Tunnistusvirheitä vähennetään käyttämällä useampia tunnistusalgoritmeja rinnakkain, jotka voivat tunnistaa sekä erillisiä sanoja että sanaliittoja. Jos tunnistin ei tunnista sanaa tai tunnistaa sen väärin, voi virhe levitä ja vaikeuttaa puhedokumentin muidenkin sanojen tunnistamista. Ongelmana on myös se, että sanojen taivutusmuodot kasvattavat nopeasti tunnistettavan sanaston määrää. Foneemien tunnistaminen perustuu puhutun kielen pienimpien merkityksiä erottavan yksikön tunnistamiseen. Koska menetelmä ei yritä tunnistaa sanoja, tuntemattomat sanat tai taivutusmuodot eivät muodosta tunnistukselle ongelmia. Tunnistuksen mielekkyyttä on tosin mahdotonta tarkastaa. Puhesyöte käännetään äänneasuesitykseksi, jota verrataan sumeiden merkkijonomenetelmien avulla hakukantaan. Puhujariippumattomuus on haaste puheentunnistukselle käytetystä menetelmästä riippumatta.
Katso myös Viittausindeksi
Lähteet
Viitteet
Luokka:Tiedonhaku Luokka:Informaatiotutkimus