Automatiseringsbias (automation bias) er tiltroen til anbefalinger og vurderinger fra automatiserte systemer. Begrepet kommer fra sosialpsykologien. Begrepet er et kjent fenomen innen forskning på beslutningsstøtte og beskriver menneskets tendens til å ha for stor tillit til vurderinger og anbefalinger gitt an automatiserte systemer. Fenomenet har lenge vært kjent innen en rekke fagfelt som luftfart og medisin, men har de senere årene fått en økt relevans med utvikling av kunstig intelligens (KI).

Automatiserte systemer kan produsere raske og overbevisende svar som kan fremstå som svært troverdige og gjennomarbeidet. Dette kan gjøre det vanskeligere for brukeren å vurdere kvaliteten på informasjonen på en kritisk måte. Over tid kan brukeren bli mer tilbøyelig til å stole på systemets anbefalinger, fremfor å gjøre egne kritiske vurderinger.

Automatiseringsbias kan blant annet føre til at brukeren unnlater å handle fordi systemet ikke varsler om et problem, eller handlingsfeil, der brukeren følger en feilaktig anbefaling fra systemet. Selv om slike feil ikke nødvendigvis får alvorlige konsekvenser, kan automatiseringsbias redusere kvaliteten på menneskelig kontroll og beslutningstaking. Utfordringen blir derfor særlig relevant når automatiserte systemer og kunstig intelligens får en stadig større rolle i beslutningsprosesser.

Påvirkning av kunstig intelligens

Kunstig intelligens (KI) innebærer nye muligheter, men også utfordringer som på flere områder skiller seg fra tradisjonelle automatiserte systemer. KI-systemer er ofte mer komplekse og mindre forutsigbare enn tradisjonelle automatiserte systemer. Brukeren kan ha begrensede muligheter til å forstå hvordan systemet har kommet frem til vurderinger og anbefalinger, særlig når det er basert på avanserte former for maskinlæring. Manglende forklarbarhet og mulighet for etterprøving kan dermed gjøre det vanskeligere å oppdage feil eller svakheter i systemets vurderinger. Dette kan føre til at resultater generert av KI i større grad blir akseptert uten tilstrekkelig kritisk vurdering.

Automatiseringsbias og virkeligheten Den raske utviklingen og økte bruken av kunstig intelligens og automatiserte systemer gjøre automatiseringsbias stadig mer relevant. Når slike systemer får en større rolle i beslutningsprosesser øker risikoen for at teknologien påvirker menneskelige vurderinger og valg. Automatiseringen påvirkes samtidig av hvordan mennesker bruker KI-systemene. Manglende erfaring og kompetanse, kombinert med faktorer som tidspress og høy arbeidsbelastning, kan gjøre brukeren mer tilbøyelig til å stole på automatiserte vurderinger. Dette blir særlig utfordrende fordi KI bygger på modeller som forenkler virkeligheten og derfor ikke alltid fanger opp hele konteksten i en situasjon. Dersom forskjellen mellom KI-systemets vurdering og den faktiske situasjonen ikke oppdages, kan automatiseringsbias bidra til at feilaktige eller lite passende anbefalinger blir lagt til grunn for beslutninger.

For stor tillit til automatiserte beslutningssystemer kan samtidig føre til at alternative løsninger får mindre oppmerksomhet. Automatiserte systemer vil normalt basere anbefalingene sine på tilgjengelige data, mens virkelige situasjoner også kan være preget av usikkerhet, uforutsigbarhet og forhold de automatiserte systemene ikke tidligere har møtt. Menneskelig vurdering kan derfor fortsatt være viktig, særlig i situasjoner hvor tilgjengelige data ikke gir et fullstendig bilde av situasjonen. Automatiseringsbias kan oppstå dersom systemets anbefaling følges uten at alternative vurderinger eller relevant informasjon blir tilstrekkelig vurdert.

Utfordringer En betydelig utfordring med automatiserte systemer er at de kan produsere feilaktige resultater, men også hvordan mennesker forholder seg til resultatene. Dersom tilliten til teknologien blir for stor, kan nødvendig faglig kontroll og kvalitetssikring få mindre oppmerksomhet.

Utfordringene knyttet til automatiseringsbias har blitt mer aktuelle med utviklingen av stadig mer avanserte automatiserte systemer. Slike systemer benyttes i dag på en rekke områder, blant annet innen luftfart, offentlige velferdstjenester, medisin og militær virksomhet.

Det er dokumentert en rekke hendelser der KI, algoritmer og automatiserte systemer har blitt tatt i bruk uten at brukerne har fått tilstrekkelig opplæring eller forståelse av hvordan teknologien fungerer. Mangelfull informasjon om systemenes muligheter og begrensninger, samt fravær av tydelige retningslinjer for bruken, kan gjøre det vanskeligere for brukerne å vurdere når automatiserte anbefalinger bør kontrolleres eller overprøves.

Fagfelt Automatiseringsbias har blitt undersøkt innenfor en rekke ulike fagfelt. Fenomenet er særlig relevant i situasjoner der automatiserte systemer brukes som støtte i viktige eller komplekse beslutninger. Dette gjelder blant annet innen luftfart, medisin, militære virksomhet, hvor tillit til automatiserte vurderinger kan få betydelige konsekvenser.

Luftfart Innen luftfarten kan automatiseringsbias føre til at piloter stoler for mye på automatiserte systemer og dermed overser viktig informasjon fra andre instrumenter. Studie viser at piloter kunne unnlate å oppdage feil som systemet ikke varslet om, eller følge feilaktige anbefalinger til tross for motstridende informasjon. Studien viste også at piloter som aktivt kontrollerte automatiserte opplysninger mot andre informasjonskilder, gjorde færre feil.

Medisin Innen medisin kan automatiseringsbias føre til at helsepersonell legger for stor vekt på anbefalinger fra automatiserte systemer. Dette kan for eksempel skje dersom en lege aksepterer en KI-generert diagnose uten å kontrollere den tilstrekkelig mot symptomer, prøvesvar eller egen faglig vurdering. Automatiseringsbias kan også oppstå ved tolkning av medisinske bilder, vurdering av pasienters risiko eller valg av behandling. Dersom KI-systemet gir en feilaktig anbefaling og helsepersonellet har høy tillit til systemet, kan dette bidra til feildiagnostisering, forsinket behandling eller andre uheldige beslutninger.

Militær virksomhet Automatiseringsbias kan ha stor betydning ved bruk i militær virksomhet. En studie fra 2004 viste at overdreven tillit til automatiserte systemer hadde bidratt til flere alvorlige militære feilbeslutninger, blant annet hendelser med beskytning av egne styrker under Irakkrigen. Forskning på området har derfor undersøkt hvor stor grad av automatisering som er hensiktsmessig i militære beslutningsstøttesystemer.

Kategori:Sosialpsykologi