thumb|200px|Eteenpäin kytketty 2 × 5 monikerrosverkko Neuroverkot ovat informaation käsittelyn, matematiikan tai laskennan malleja, jotka ovat saaneet inspiraationsa aivojen rakenteesta. Neuroverkko on graafi, joka koostuu neuroneista, joita yhdistävät synapsit. Neuroni saa signaaleja ja laskee niistä painotetun summan, jonka tietyn rajan ylitettyään lähettää eteenpäin. Signaalit ovat neuroverkoissa yksinkertaisesti lukuja. Neuroverkko järjestetään tasoiksi, joiden läpi signaali kulkee. Neuroverkko koulutetaan syöttämällä sille esimerkkejä vastaantulevista syötteistä. Oppimisprosessin aikana verkko muodostaa todennäköisyyksin painotetun sisäisen mallin syötteen ja tuloksen välisestä suhteesta. Perinteisempiin koneoppimismalleihin verrattuna neuroverkkojen keskeinen etu on, että ne kykenevät hyödyntämään koulutuksessa syntynyttä malliaan tilanteissa, jotka eivät ole esiintyneet koulutusaineistossa.What are neural networks? IBM
Siinä missä perinteisemmissä asiantuntijajärjestelmissä käytetään ”jos–niin”-sääntöpareja (esimerkiksi jos raidat, niin seepra; jos pitkät korvat, niin aasi), neuroverkkoa opetetaan esimerkkien avulla (nämä ovat eri-ikäisiä seeproja ja nämä aaseja). Tällä pyritään siihen, että neuroverkko itse havaitsee muuttujien epälineaariset riippuvuussuhteet suoraan havaintoaineistosta (em. esimerkissä neuroverkko oppii tarkastelemaan korvia ja värin kuvioita, ei esimerkiksi jalkojen pituutta). Muilta osin neuraalilaskenta muistuttaa tilastotieteessä käytettyjä yleistettyjä lineaarisia malleja (GLM).
Neuroni ja neuroverkon kerrokset Neuroverkot koostuvat joukosta (keinotekoisia) neuroneita. Neuronit ovat yksinkertaisia, toisiinsa kytkettyjä tiedonkäsittely-yksiköitä. Keinotekoinen neuroni muistuttaa karkeasti biologista hermosolua, ja koostuu seuraavista osista:
synapseista summaajasta aktivaatiofunktiosta.
Synapsi on kahden neuronin välinen kytkentä, jolle on määritelty kytkentäkohtainen paino. Summaajan tehtävä on laskea kaikilta syötesynapseilta tulleiden signaalien summa. Lopulta neuroni tuottaa tämän summan perusteella epälineaarisen aktivaation. Kustakin neuronista lähteviä synapseja, summaajia ja aktivaatioita voidaan mallintaa yhdistetyllä funktiolla, joka koostuu lineaarikuvauksesta, vakiotermistä ja aktivaatiofunktiosta.
Keinotekoisessa neuroverkossa neuronit järjestetään peräkkäisiksi kerroksiksi (), joissa on tietty joukko vektoriksi järjestettyjä neuroneja. Syväoppivassa () neuroverkossa on useita tällaisia kerroksia, joilla voi olla toisistaan poikkeavia tehtäviä. Kunkin kerroksen aktivaatio on seuraavan kerrokseen sisään tuleva signaali. Koska syöte- ja ulostulokerrosten välissä olevat kerrokset eivät näy ulospäin, niitä nimitetään piilokerroksiksi ().
Lineaarikuvaus ja vakiotermi
Neuronin summaaja laskee syöttösynapseilta tulleiden signaalien summan
jossa ovat syötesignaaleita ja on vakiotermi (bias). Tämä esitetään usein matriisimuodossa
merkintätavan ja derivaattojen laskennan selkeyttämiseksi.
Aktivaatiofunktio
Aktivaatiofunktio laskee summasta epälineaarisen kuvauksen
jossa on ulostulosignaali. Aktivaatiofunktio lasketaan yleensä jokaiselle kerroksen neuronille erikseen. Aktivaatiofunktion keskeisiä ominaisuuksia ovat: epälineaarisuus – Tämä on aktivointifunktion tärkein ominaisuus, sillä kahden affiinin kuvauksen yhdistetty kuvaus on myös affiini kuvaus. Ilman epälineaarisuutta koko neuroverkon voi pelkistää yhdeksi neuroniksi. (jatkuva) derivoituvuus – Opetusvaiheessa hukkafunktion minimointi edellyttää myös aktivaatiofunktion derivaatan laskemista. identiteettifunktion läheisyys nollan lähellä – Jos aktivointifunktio on origon lähellä likimain f(x) = x, neuroverkko oppii tehokkaasti vaikka alkutilanteessa painokertoimet valittaisiin satunnaisesti.
Aktivointifunktion on myös käytännöllistä olla rajoitettu, sillä tällöin neuroverkko oppii tehokkaammin.
Juuri aktivointifunktion epälineaarisuus mahdollistaa mielivaltaisen funktion approksimoimisen. Itse asiassa voidaan todistaa, että tällainen neuroverkko, jossa on vähintään yksi neuronikerros (sisääntulon ja ulostulon lisäksi), kykenee approksimoimaan mitä tahansa riittävän sileää funktiota mielivaltaisella tarkkuudella, kunhan neuroneita on riittävän paljon!Hornik et al. (1989) "Multilayer feedforward networks are universal approximators". Neural Networks vol. 2 (5), 359–366 Aktivaatiofunktio voi olla esimerkiksi askelfunktio
tai logistinen (sigmoidi) funktio
Nykyisin yleisin aktivaatiofunktio on ReLU ()
muun muassa sen helpon derivoituvuuden vuoksi. ReLU ei myöskään kärsi häviävien gradienttien ongelmasta toisin kuin sigmoidiset funktiot.
Neuroverkkorakenteet
Neuroverkkokerroksia yhdistelemällä voidaan rakentaa erilaisia neuroverkkoja. Yleisin neuroverkkorakenne on eteenpäinsyöttävä verkko (, FFNN), jossa kaikki edellisen kerroksen neuronit on kytketty kaikkiin seuraavan kerroksen neuroneihin. Eri tarkoituksiin on kehitetty lisäksi monia erilaisia neuroverkkorakenteita.
Eteenpäin kytketty yksikerroksinen perseptroniverkko () Eteenpäin kytketty monikerroksinen perseptroniverkko (, MLP) Takaisinkytketty neuroverkko (, RNN) Pitkä lyhytkestomuisti (, LSTM) Konvoluutioneuroverkko (, CNN) Generatiivinen kilpaileva verkosto (, GAN) Autoenkoodaaja ()
Neuroverkon kouluttaminen Neuroverkkojen opettamisessa kytkentöjen synaptiset painot optimoidaan siten, että opetusnäytteiden vasteiden ja haluttujen vasteiden ero minimoituu.
Opetusnopeutta voidaan parantaa nolla-keskiarvoistamalla opetusdata sekä vähentämällä opetusnäytteen piirteiden keskinäistä riippuvuutta esimerkiksi pääkomponenttianalyysillä.
Hukkafunktio, gradientti ja vastavirta-algoritmi
Jotta neuroverkkoa voidaan opettaa, sille on ensin määriteltävä hukkafunktio (). Hukkafunktio antaa numeerisen mittarin sille, kuinka hyvin neuroverkon ennustukset vastaavat havaittua dataa. Regressiotehtävissä käytetään usein virheiden neliösummaa
jossa on neuroverkon ennuste datapisteen perusteella, ja luokittelutehtävissä ristientropiaa ()
jossa on datapisteen oikea luokka.
Kun hukkafunktio on määritelty, käytetään gradienttimenetelmää () sen minimoimiseksi. Siinä virhefunktion gradientti lasketaan painokertoimien suhteen ja siirrytään askel askeleelta vastakkaiseen suuntaan gradienttiin nähden. Askeleen pituus voi olla osa gradientin pituudesta, esimerkiksi 0,02, tai se voidaan määrittää. Yleensä gradientin laskemiseksi ei käytetä koko datasettiä joka askelmalla, vaan gradientti lasketaan satunnaistetusta alijoukosta dataa ().
Monikerroksisten neuroverkkojen opetuksessa käytetään vastavirta-algoritmia (), , joka nopeuttaa gradientin laskemista. Vastavirta-algoritmi aloittaa gradientin laskemisen verkon viimeisestä kerroksesta. Se laskee gradientin aina yhdelle kerrokselle kerrallaan ja käyttää tätä gradienttia edellisen laskemiseen.
Oppimisparadigmat
Ohjatussa oppimisessa () neuroverkolle syötetään oppimateriaaliksi ennalta luokiteltuja näytteitä. Neuroverkon tuottamien arvojen ja näytteen luokittelun onnistumisen perusteella neuronien painoarvoja muutetaan siten, että neuroverkko tuottaisi syötteen luokittelun mukaisen tuloksen.
Ohjaamattomassa oppimisessa () syväoppiva malli yrittää automaattisesti luokitella syötettä, ilman että sitä ohjataan millään tavalla. Koulutuksen aikana neuroverkko alkaa siis vähitellen löytämään opetusmateriaalista eri syötteitä yhdistäviä ja erottavia tekijöitä. Ohjaamatonta oppimista ovat muun muassa sellaiset autoenkooderit, jotka muuttavat vastaanottamansa syötteen matalampiulotteiseen muotoon ja yrittävät muokata sen takaisin alkuperäiseksi syötteeksi. Ohjaamatonta oppimista on myös Teuvo Kohosen kehittämä itseorganisoituva kartta.
Osittain ohjatussa oppimisessa () osa näytteistä on luokiteltuja ja osa ei. Tämä voi tarkoittaa esimerkiksi sitä, että osaa verkosta esiharjoitetaan ohjaamattomasti, ja sitten tätä neuroverkkoa käytetään osana ohjattua arkkitehtuuria.
Vahvistusoppimisessa () malli oppii sellaisen palautteen perusteella, jota ympäristö antaa suorituksen aikana. Oppimisprosessissa neuroverkko pyrkii maksimoimaan saamansa positiivisen palautteen ja minimoimaan negatiivisen. Keskeisin ero ohjattuun oppimiseen on, että palaute perustuu verkon suoriutumiseen kokonaisuutena, eikä neuroverkko saa tietoa, mitkä valinnat olisivat olleet pitkällä tähtäimellä hyödyllisiä<ref>[https://doi.org/10.48550/arXiv.cs/9605103 L. P. Kaelbling et al. "Reinforcement Learning: A Survey". arXiv:cs/9605103] </ref>. Vahvistusoppimista käytetään paljon etenkin robotiikassa.
Yli- ja alisovittaminen Neuroverkon koulutuksessa on otettava huomioon samoja virhelähteitä kuin minkä tahansa muunkin mallisovituksen tapauksessa. Erityisesti ylisovittaminen on laajojen neuroverkkojen keskeinen ongelma, jos opetusmateriaalia on liian vähän suhteessa neuroverkon kokoon. Ylisovittunut malli on alkanut kiinnittää huomiota opetusdatan epäolennaisuuksiin ja satunnaisvaihteluun. Ylisovitettu malli suoriutuu hyvin opetusaineistosta, muttei osaakaan yleistää oppimaansa uusiin tilanteisiin. Ilmiselvä tapa korjata asia on lisätä opetusmateriaalin määrää, mutta se voi usein olla käytännössä vaikeaa. Yleinen tapa torjua ilmiötä on sammuttaa satunnaisesti osa neuroneista kullakin opetuskerralla. Näin yksittäisten neuronien riippuvuus viereisistä neuroneista vähenee jolloin niistä tulee itsenäisempiä ja verkon rakenne karkeistuu.
Alisovituksessa malli on dataan verrattuna liian yksinkertainen. Alisovituksessa neuroverkko oppii huonosti ja painot päivittyvät hitaasti.
Neuroverkkojen historiaa Aivotutkijat Warren McCulloch ja Walter Pitts esittivät ensimmäisen ihmisaivojen toimintaa ja matemaattista logiikkaa yhdistelevän laskentamallin vuonna 1943. Ensimmäinen varsinainen neuroverkko on Frank Rosenblattin perseptroni vuodelta 1958Frank Rosenblatt (1958) "The Perceptron: A Probabilistic Model for Information Storage and Organization in The Brain". Psychological Review 65(6), 386–408 . Vaikka neuroverkkojen perusajatus perustuu luonnollisiin hermoverkkoihin, jo David Rumelhart, Geoffrey Hinton ja Ronald J. Williams vuoden 1986 artikkelissaan huomauttivat, ettei niiden kehittely enää perustu luonnollisten hermoverkkojen jäljittelyyn. Neuroverkkotekniikoiden kehittäminen oli jo tuolloin siirtynyt enemmän tilastotieteeseen ja signaalinkäsittelyn teoriaan.Rumelhart et al. (1986). "Learning representations by back-propagating errors". Nature 323, 533
Monikerroksisen neuroverkon toimivuus edellyttää tapaa, jolla verkon piilokerroksissa olevien neuronien painokertoimet saadaan päivitettyä. Ratkaisu tähän on vastavirta-algoritmi. Tekoälytutkimuksen pioneereihin kuuluva Jürgen Schmidhuber huomauttaa, että algoritmin ensimmäisen implementaation julkaisi Seppo Linnainmaa pro gradu -työssään vuonna 1970 nimellä the reverse mode of automatic differentiation. Käytännössä kaikki nykyisin tuotantokäytössä olevat neuroverkkototeutukset perustuvat Linnainmaan algoritmiin.Jürgen Schmidhuber: Who Invented Backpropagation? (viitattu 3.12.2023)
Takaisinkytketyt neuroverkot (RNN) perustuvat David Rumelhartin, Geoffrey Hintonin ja Ronald J. Williamsin julkaisuun Learning representations by back-propagating errors vuodelta 1986. Hopfieldin verkko (aiemmin assosiatiivinen neuroverkko) on RNN:n erikoistapaus, jonka kehitti John Hopfield vuonna 1982.J. J. Hopfield (1982) "Neural networks and physical systems with emergent collective computational abilities". Proc Natl Acad Sci USA. 79(8): 2554–2558
Pitkä-lyhytkestomuistiverkon esittelivät Sepp Hochreiter ja Jürgen Schmidhuber 1997.Sepp Hochreiter & Jürgen Schmidhuber (1997) "Long Short-Term Memory". Neural Computation 9 (8): 1735–1780 LSTM-verkot mullistivat puheentunnistuksen. käsialantunnistuksen, konekäännöksen ja kielimallinnuksen vuodesta 2007 eteenpäin.