En estadística, teoria de probabilitats i teoria de la informació, la informació mútua puntual (PMI), o la informació mútua puntual, és una mesura d'associació. Compara la probabilitat que dos esdeveniments succeeixin junts amb quina seria aquesta probabilitat si els esdeveniments fossin independents.
PMI (especialment en la seva variant d'informació mútua puntual positiva) s'ha descrit com "un dels conceptes més importants de la PNL ", on "es basa en la intuïció que la millor manera de ponderar l'associació entre dues paraules és preguntar-se quant més les dues paraules coexisteixen en [un] corpus del que hauríem esperat que apareguessin per casualitat".
El concepte va ser introduït l'any 1961 per Robert Fano amb el nom de "informació mútua", però avui en dia aquest terme s'utilitza en canvi per a una mesura relacionada de dependència entre variables aleatòries: La informació mútua (MI) de dues variables aleatòries discretes fa referència al PMI mitjà de tots els esdeveniments possibles.
Definició El PMI d'un parell de resultats x i y pertanyents a variables aleatòries discretes X i Y quantifica la discrepància entre la probabilitat de la seva coincidència donada la seva distribució conjunta i les seves distribucions individuals, assumint la independència. Matemàticament:
(amb les dues últimes expressions iguals a la primera pel teorema de Bayes). La informació mútua (MI) de les variables aleatòries X i Y és el valor esperat del PMI (sobre tots els resultats possibles).
La mesura és simètrica ( ). Pot prendre valors positius o negatius, però és zero si X i Y són independents. Tingueu en compte que tot i que el PMI pot ser negatiu o positiu, el seu resultat esperat en tots els esdeveniments conjunts (MI) no és negatiu. PMI maximitza quan X i Y estan perfectament associats (és a dir o ), amb els límits següents:
Finalment, augmentarà si està arreglat però disminueix.
Aquí teniu un exemple per il·lustrar: xyp ( x , i )000.1010,7100,15110,05 Utilitzant aquesta taula podem marginar-nos per obtenir la següent taula addicional per a les distribucions individuals: p ( x )p ( y )00,80,2510,20,75 Amb aquest exemple, podem calcular quatre valors per . Utilitzant logaritmes de base 2: pmi(x=0;y=0)=− 1pmi(x=0;y=1)=0,222392pmi(x=1;y=0)=1,584963pmi(x=1;y=1)= -1,584963 (Com a referència, la informació mútua llavors seria 0,2141709.)
Similituds amb la informació mútua La informació mútua puntual té moltes de les mateixes relacions que la informació mútua. En particular,
On és l'autoinformació, o .
Aplicacions El PMI es pot utilitzar en diverses disciplines, per exemple, en teoria de la informació, lingüística o química (en l'elaboració de perfils i anàlisi de compostos químics). En lingüística computacional, PMI s'ha utilitzat per trobar col·locacions i associacions entre paraules. Per exemple, els recomptes d'ocurrències i co-ocurrències de paraules en un corpus de text es poden utilitzar per aproximar les probabilitats i respectivament. La taula següent mostra el recompte de parelles de paraules que obtenen la màxima i la menor puntuació PMI en els primers 50 milions de paraules a la Viquipèdia (abocador d'octubre de 2015) filtrant per 1.000 o més ocurrències. La freqüència de cada recompte es pot obtenir dividint el seu valor per 50.000.952. (Nota: el registre natural s'utilitza per calcular els valors PMI d'aquest exemple, en lloc de la base de registre 2) mot 1mot 2compte mot 1compte mot 2recompte de coocurrènciesPMIpuertorico19381311115910.0349081703hongkong2438269422059.72831972408losangeles3501280827919.56067615065carbondioxide4265135310329.09852946116prizelaureate5131167612108.85870710982sanfrancisco5237247717798.83305176711nobelprize4098513124988.68948811416icehockey5607300219338.6555759741startrek8264159414898.63974676575cardriver5578274913848.41470768304itthe28389132932963347 -1.72037278119areof23445817614361019 -2.09254205335thisthe19988232932961211 -2.38612756961isof56567917614361562 -2.54614706831andof137539617614362949 -2.79911817902aand98444213753961457 -2.92239510038inand118765213753961537 -3.05660070757toand102565913753961286 -3.08825363041toin102565911876521066 -3.12911348956ofand176143613753961190 -3.70663100173 Els bons parells de col·locació tenen un PMI alt perquè la probabilitat de co-ocurrència és només lleugerament inferior a les probabilitats d'ocurrència de cada paraula. Per contra, un parell de paraules les probabilitats d'ocurrència de les quals són considerablement superiors a la seva probabilitat de co-ocurrència obté una petita puntuació PMI.
Referències
Categoria:Probabilitat Categoria:Teoria de la informació