miniatura En intel·ligència artificial (IA), una al·lucinació o al·lucinació artificial (també «deliri» o «confabulació») és una resposta segura d'una IA que no sembla estar justificada per les seves dades d'entrenament. És a dir, la intel·ligència artificial genera una resposta afirmativa i coherent, però que no es correspon amb les dades verificables.
Per exemple, suposem aquest diàleg amb una IA:Pegunta de l'usuari: «Quin any va ser Ramon Llull president de la Generalitat?»Resposta de la IA: «Ramon Llull va ser president l'any 1290» La resposta de la IA, tot i que afirmativa, sense mostrar dubtes i amb una estructura coherent, és falsa. Ho és perquè contradiu les dades verificables o conté elements inexistents. En aquest cas, Ramon Llull mai no va ser president de la Generalitat i, de fet, l'any 1290 tampoc no existia aquesta institució. Amb tot, l'error (al·lucinació) ha estat induït pel supòsit fals de la pregunta.
Aquests fenòmens reben el nom d’«al·lucinacions» per analogia amb la psicologia humana. En el cas de les persones, una al·lucinació és una percepció que no es pot relacionar amb cap estímul real procedent dels òrgans dels sentits. En canvi, en el context de la IA, una al·lucinació fa referència a una resposta formulada amb aparença de certesa, però que no es pot justificar ni fonamentar a partir de les dades amb què el model ha estat entrenat.
Causes de les al·lucinacions miniatura|477x477px|Exemple d'al·lucinació Les al·lucinacions es produeixen perquè els models de llenguatge extens (LLM) d'intel·ligència artificial generativa no treballen amb coneixement verificat, sinó amb «prediccions estadístiques» basades en patrons del text amb què han estat entrenats.
Quan el model no disposa de prou informació, l'algoritme pot generar respostes plausibles en la forma, però incorrectes. Aquestes respostes apareixen com a certes i segures perquè el model no distingeix entre informació real i fabricada: simplement selecciona la continuació o resposta més probable estadísticament. Diversos estudis assenyalen que aquest comportament és inherent a l’arquitectura dels models generatius i que, per tant, no pot eliminar-se del tot en els sistemes actuals. El següent quadre resumeix les causes principals de les al·lucinacions:Zhou, Kaitao et al. (2024). Large Language Models Are Abstract Reasoners Rather Than Fact Reciters. arXiv:2402.13699. CausaExplicacióExempleDades limitadesEls models generatius prediuen la paraula següent més probable si no disposen d'informació factual. Si no tenen prou dades, generen respostes que semblen correctes però no tenen fonament real.El model dona una data històrica falsa amb tota seguretat perquè no disposa d’informació suficient.Qualitat de les dades d'entrenamentEls conjunts de dades contenen informació incompleta, contradictòria o amb biaixos. El model pot combinar fragments incompatibles o reproduir errors de les dades d’entrenament.El model barreja definicions científiques contradictòries apreses d’Internet.Ambigüitat o errors en la instruccióPreguntes amb supòsits falsos, ambigüitats o manca de context poden portar el model a interpretar-les malament i inventar respostes plausibles però incorrectes.Preguntar «Quin any Ramon Llull va ser president de la Generalitat?» i obtenir una data inventada.Priorització de la fluïdesa per sobre de la veracitatEls models optimitzen la coherència del text, encara que això impliqui adaptar o inventar informació per fer la resposta fluida.El model inventa una referència bibliogràfica per completar una explicació coherent.
Tipus d'al·lucinacions La tipologia de les al·lucinacions pot establir-se en funció de diferents criteris. La taula següent recull els més rellevants agrupats en sis tipus:Maynez, Joshua et al. (2020). On Faithfulness and Factuality in Abstractive Summarization. ACL 2020. Tipusen anglèsDescripcióExempleAl·lucinacions factualsFactual hallucinationsEl model genera informació objectivament falsa o no suportada per dades verificables.Inventar una data històrica o atribuir una obra a un autor incorrecte.Al·lucinacions de raonamentReasoning hallucinationsErrors en la cadena lògica: inferències incorrectes, càlculs equivocats o contradiccions internes.Resoldre una equació amb passos aparentment coherents però matemàticament falsos.Al·lucinacions derivades de la instruccióInstruction-induced hallucinationsS’originen quan el model interpreta malament la instrucció, especialment si conté supòsits falsos o ambigüitats.Respondre sobre “el president de la Generalitat Ramon LLul”, donant per cert un supòsit fals.Al·lucinacions intrínsequesIntrinsic hallucinationsLa sortida és incoherent amb l’entrada o amb el mateix text que el model ha generat: contradiccions internes.El model es contradiu dins del mateix paràgraf sobre una mateixa informació.Al·lucinacions extrínsequesExtrinsic hallucinationsLa resposta és coherent internament però incorrecta respecte al món real.Inventar un esdeveniment històric plausible però fals.Al·lucinacions induïdes per l’exposicióExposure-induced hallucinationsQuan un error inicial es propaga durant la generació de seqüències llargues, amplificant-se.En un resum llarg, afegir dades cada vegada més inventades a mesura que avança el text. Mitigació de les al·lucinacions En general, les al·lucinacions en els models d'intel·ligència artificial es produeixen quan el «corpus de dades» amb què ha estat entrenada la IA és insuficient, conté informació incoherent o contradictòria, o quan les instruccions que rep són ambigües o inclouen supòsits falsos. A tot això s’hi afegeix que els models de llenguatge extens (LLMs) tendeixen a prioritzar la fluïdesa i la coherència del text per damunt de la veracitat. Per reduir o mitigar aquests errors, existeixen diverses tècniques que s’adrecen directament a les causes descrites. La taula següent presenta les principals mesures de mitigació associades a cada tipus d’al·lucinació. Causa de l’al·lucinacióTècnica de mitigacióDescripcióExempleBiaixos i dades incorrectes al «corpus»Filtrar, netejar i equilibrar dadesNetejar contingut duplicat, parcial, esbiaixat o fals per reduir errors apresos del corpus.El model repeteix un mite històric fals perquè apareix sovint a Internet.Falsedats molt repetides (imitative falsehoods)Revisió de dades i detecció de falsedatsIdentificar i corregir informacions errònies àmpliament difoses al corpus.Atribuir la invenció exclusiva de la bombeta a Edison.Conflictes de coneixementHarmonitzar fonts i eliminar contradiccionsEl model veu versions oposades d’un mateix fet i després genera respostes inconsistents.Dos autors diferents donen anys de naixement diferents d’un científic.Coneixement desactualitzatActualitzar periòdicament les dadesEl model dona dades que ja no són vigents.Donar com a president algú que ja no ho és.Escassetat de dades de dominiAfegir dades especialitzadesAmb poca informació d’un camp (medicina, dret, astrofísica), el model inventa detalls.Errors en diagnosi mèdica o legislació perquè no té prou informació especialitzada.Coneixement poc freqüent (Long-tail knowledge )Enriquir el corpus amb casos rarsTemes molt poc representats provoquen respostes inventades.Inventar dades sobre un poble desconegut.Limitacions del mecanisme d’atencióMillorar l’atenció en seqüències llarguesEn textos llargs, l’atenció de la IA es difumina i es perd el context.El model es contradiu en un resum llarg.Funció objectiu (MLE)Objectius d’entrenament que penalitzin falsedatsLa MLE només premia probables, no la veracitat.El model omple buits amb un detall “plausible” però que pot ser fals.Codificació posicional dèbilMillorar la codificació ordenadaEn seqüències llargues, es degrada la percepció de l’ordre.Barrejar dades de seccions diferents d’un text.Context unidireccionalArquitectures híbrides/bidireccionalsEn models autoregressius, el context incomplet fa que el model inventi per mantenir coherència.Donar detalls no demanats perquè “sonen bé”.Shortcut learningDades diverses que evitin correlacions superficialsEl model aprèn patrons superficials que fallen fora de distribució.Respondre només perquè detecta una paraula clau (“not”, “always”).Efecte bola de neuTècniques d’entrenament robustes.Un petit error a l'inici es propaga i amplifica.En un text llarg, comença bé però acaba inventant dades.Pocs exemples negatiusIncloure exemples erronis durant l’entrenamentEl model no sap identificar respostes plausibles però falses.Donar per bona una dada inventada perquè “sona correcta”.SobreajustamentDades ajustades variades i de qualitatAmb dades massa específiques, el model es torna rígid i falla fora del domini.Un model entrenat per resumir informes mèdics inventa detalls en altres àrees.Capacitats desajustadesEntrenar el model per reconèixer que no sap una respostaA vegades el model respon amb seguretat tot i no tenir prou coneixement.El model respon amb seguretat a preguntes d’alt risc sense coneixement.Complacència (Sycophancy)Ajustar l’entrenament per evitar respostes “per agradar”El model diu el que creu que l’usuari vol sentir, encara que sigui fals.Confirmar una idea errònia de l’usuari per quedar bé.Mètriques d’avaluació inadequadesÚs de mètriques de factualitatROUGE/BLEU mesuren fluïdesa, no veracitat.Un model “fluït” passa les proves malgrat donar dades falses.Instruccions ambigüesEscriure instruccions més clares i concretes.L'ambigüitat comporta especulació, i auquesta porta a l'al·lucinació.Inventar un descobriment científic per omplir buits.Aleatorietat del mostreigUtilitzar estratègies de generació més deterministes.Més creativitat suposa més risc d’inventar.Partint d'un nucli central de dades, el model inventa detalls accessoris.Limitacions del «SoftMax»Utilitzar mètodes alternatius de generació.El model té dificultats per triar entre opcions igualment plausibles i força una única resposta.Dona una única resposta o interpretació quan n’hi ha diverses vàlides.Limitacions de raonamentCombinar el model de IA amb eines externes o models especialitzatsEl model falla en seguir passos lògics o en tasques que requereixen connectar fets diversos.
Referències
Categoria:Aprenentatge automàtic