miniatura|FIg.1 Unitat bàsica LSTM miniatura|Fiag.2 Xarxa LSTM Long short-term memory (amb acrònim anglès LSTM) és una tècnica per a millorar el desenvolupament de la intel·ligència artificial formada per xarxes neuronals recurrents (RNN). La unitat bàsica LSTM està formada per una cèl·lula de memòria, una porta d'entrada, una porta de sortida i una porta d'oblit. S'apliquen en els camps de la classificació i predicció estadística sobre un conjunt de dades temporals. LSTM van ser proposats per Sepp Hochreiter i Jürgen Schmidhuber l'any 1997 i millorats per Felix Gers el 2000. Empreses com Google (home), Apple (siri), Amazon (alexa) i Microsoft empren LSTM com a component fonamental en els seus motors de reconeixement de la parla.
Una unitat LSTM es compon típicament d'una cel·la i tres portes: una porta d'entrada, una porta de sortida, i una porta d'oblit. La cel·la recorda valors en intervals de temps arbitraris, i les portes regulen el flux d'informació cap a dins i cap a fora de la cel·la.
La porta d'oblit decideixen quina informació descartar de l'estat anterior, assignant l'estat anterior i l'entrada actual a un valor entre 0 i 1. Un valor (arrodonit) d'1 significa la retenció de la informació, i un valor de 0 representa el descart. Les portes d'entrada decideixen quins trossos d'informació nova s'han d'emmagatzemar en l'estat actual de la cel·la, utilitzant el mateix sistema que les portes d'oblit.
Les portes de sortida controlen quines peces d'informació de l'estat actual de la cel·la surten, assignant un valor de 0 a 1 a la informació, considerant els estats anterior i actual. La sortida selectiva d'informació rellevant de l'estat actual permet a la xarxa LSTM mantenir dependències útils a llarg termini per fer prediccions, tant en els temps actuals com en els futurs.
Motivació En teoria, les RNN clàssiques poden fer un seguiment de les dependències arbitràries a llarg termini en les seqüències d'entrada. El problema amb les RNN clàssiques és de naturalesa computacional (o pràctica): quan s'entrena una RNN clàssica mitjançant la retropropagació, els gradients a llarg termini que es retropropaguen poden "desaparèixer", és a dir, poden tendir a zero a causa de nombres molt petits que s'introdueixen als càlculs de retroalimentació, cosa que fa que el model deixi d'aprendre.
Les RNN que utilitzen unitats LSTM resolen parcialment el problema del gradient que desapareix, perquè les unitats LSTM permeten que els gradients també flueixin amb poca o cap atenuació. Tanmateix, les xarxes LSTM encara poden patir el problema del [./Https://en.wikipedia.org/wiki/Long_short-term_memory#cite_note-calin2020-19 gradient explosiu].
La idea darrere de l'arquitectura LSTM és crear un mòdul addicional en una xarxa neuronal que aprengui quan recordar i quan oblidar la informació pertinent. En altres paraules, la xarxa aprèn eficaçment quina informació pot ser necessària més endavant en una seqüència i quan aquesta informació ja no és necessària. Per exemple, en el context del processament del llenguatge natural, la xarxa pot aprendre dependències gramaticals. Un LSTM podria processar l'oració "David, com a resultat de les seves controvertides afirmacions, ara és un pària" recordant el gènere i el nombre gramaticals (estadísticament probables) del subjecte David. Cal tenir en compte que aquesta informació és pertinent per al pronom les i que aquesta informació ja no és important després del verb és.
Variants A les equacions següents, les variables en minúscula representen vectors. Les matrius Wq i Uq contenen, respectivament, els pesos de les connexions d'entrada i recurrents, on el subíndex q pot ser la porta d'entrada i, la porta de sortida o, la porta d'oblit f, o la cel·la de memòria c, depenent de l'activació que es calculi.
En aquesta secció, per tant, utilitzem una "notació vectorial". Per exemple, no és només una unitat d'una cel·la LSTM, sinó que conté h unitats de la cel·la LSTM.
LSTM amb porta d'oblit (crucial) La forma compact de les equacions per la cel·la LSTM de pas cap endavant son:
on els valors inicials son i i l'operador es refereix al producte de matrius producte de matrius de Hadamard (producte per element). Els subíndex indica el pas temporal.
Variables Els superíndex i es refereixen al nombre de entrades i al nombre de unitats ocultes respectivament:
: vectord'entrada a la unitat unit : Vector de activació de la porta d'oblit. : Vector de activació de la porta de entrada / actualització : Vecto d'activació de la porta de sortida : vector de estat ocult, també conegut com a vector de sortida del LSTM : Vector d'activació de la cèl·lula : vector de estat de la cèl·lula , i : matrius de pes i paràmetres vectorials de biaix que cal aprendre durant l'entrenament
Funcions d'activació : funció sigmoide : funció hiperbòlica : funció de tangent hiperbòlica o com suggereix Peephole LSTM, .
Aplicacions Control robòtic, predicció de dades temporals, reconeixement de la parla, aprenentatge de ritmes, composició musical, aprenentatge gramatical, reconeixement cal·ligràfic...
Referències
Categoria:Intel·ligència artificial