pienoiskuva|oikea|Esimerkki kaksoislaskuilmiöstä kaksikerroksisessa neuroverkossa: kun sovitettujen parametrien määrän suhde datapisteisiin kasvaa, testivirhe ensin laskee, sitten nousee ja alkaa laskemaan uudestaan. Kohtisuora katkoviiva kuvaa ”interpolaatiokynnystä”, joka toimii rajana ali- ja yliparametrisoidun alueen välillä.
Kaksoislaskuilmiö kuvaa tilastotieteessä ja koneoppimisessa ilmiötä, jossa yliparametrisoidulla alueella mallin testivirhe alkaa uudelleen laskemaan, kun se on ensin saavuttanut aliparametrisoidulla alueella paikallisen optimin. Kun mallin vapaiden parametrien määrä vastaa likimäärin datapisteiden määrää opetusdatassa, on testivirhe tyypillisesti erittäin suuri. Tällöin sanotaan, että malli ylisovittaa opetusdataan. Aiemmin ajateltiin, että myös yliparametrisoidut mallit ylisovittaisivat opetusdataan, mutta empiiriset tulokset ovat osoittaneet tämän oletuksen vääräksi.
Ensimmäiset havainnot ilmiöstä nähtiin jo vuonna 1989. Ilmiölle annettiin nimi kuitenkin vasta vuonna 2019, kun yhä useampien koneoppimismallien havaittiin toteuttavan yllä kuvailtua käyttäytymistä. Ilmiön nimenneet Belkin et al. haastoivat samalla yleisen käsityksen harhan ja varianssin välisestä kompromissista: Yliparametrisoitu malli voi samanaikaisesti sekä minimoida mallin harhaisuuden että sovitettujen parametrien varianssin.
Vaikka neuroverkot toimivat tyypillisenä esimerkkinä malleista, joilla kaksoilaskuilmiötä havaitaan, on hyvä muistaa, että ilmiö ei suinkaan rajaudu niihin. Esimerkiksi isotrooppisten normaalijakautuneiden satunnaismuuttujien lineaarinen regressio normaalijakautuneen kohinan oletuksella toteuttaa ilmiön.
Lähteet
Luokka:Koneoppiminen Luokka:Tilastotiede Luokka:Data-analyysi