miniatura|375x375px|Model bossa de paraules (CBOW). En el processament del llenguatge natural (PNL), la incrustació de mots és un terme utilitzat per a la representació de paraules per a l'anàlisi de text, normalment en forma d'un vector de valor real que codifica el significat de la paraula de manera que les paraules que estan més a prop del vector s'espera que l'espai tingui un significat similar. Les incrustacions de paraules es poden obtenir fent servir un conjunt de tècniques de modelització del llenguatge i d'aprenentatge de funcions on les paraules o frases del vocabulari s'assignen a vectors de nombres reals.
Exemple Suposem un corpus idiomàtic de 6 paraules amb una representació de 3 dimensions, on cada dimensió es un valor real continu i cada paraula te associat un vector únic. +ParaulaDimensió 1Dimensió 2Dimensió 3gat0.2 -0.40.7gos0.60.10.5poma0.8 -0.2 -0.3taronja0.7 -0.1 -0.6feliç -0.50.90.2trist0.4 -0.7 -0.5 S'espera que les paraules amb significats o contextos similars tinguin representacions vectorials similars. Per exemple, els vectors de "gat" i "gos" estan molt units, reflectint la seva relació semàntica. De la mateixa manera, els vectors per a "feliç" i "trist" tenen direccions oposades, indicant els seus significats contrastats.
Els vectors utilitzats habitualment tenen centenars de dimensions per captar les diferents característiques.
Mètodes de generació miniatura|374x374px|Model n-gram. Els mètodes per generar aquest mapatge inclouen xarxes neuronals, reducció de la dimensionalitat a la matriu de co-ocurrència de paraules, models probabilístics, mètode de base de coneixement explicable, i representació explícita en termes del context en què apareixen les paraules.
S'ha demostrat que les incrustacions de paraules i frases, quan s'utilitzen com a representació d'entrada subjacent, milloren el rendiment en tasques de PNL com ara l'anàlisi sintàctica i l'anàlisi de sentiments.
L'any 2013 un equip de Google dirigit per Tomas Mikolov va crear word2vec, un conjunt d'eines d'inserció de paraules que pot entrenar models d'espai vectorial més ràpidament que els enfocaments anteriors. L'enfocament word2vec s'ha usat àmpliament en l'experimentació i va ser fonamental per despertar l'interès per la incorporació de paraules com a tecnologia, traslladant la línia de recerca de la investigació especialitzada cap a una experimentació més àmplia i, finalment, obrir el camí per a l'aplicació pràctica.
Referències
Categoria:Aprenentatge automàtic