Wartość bliska 0 oznacza niemal całkowite zablokowanie informacji, a wartość bliska 1 – jej przepuszczenie.
Równania Jedna z najczęściej używanych wersji komórki LSTM jest opisana równaniami:
gdzie: oznacza wejście w chwili ; oznacza poprzedni stan ukryty; oznacza poprzedni stan komórki; jest bramką wejściową; jest bramką zapominania; jest bramką wyjściową; jest kandydatem nowej zawartości pamięci; oznacza funkcję sigmoidalną; oznacza mnożenie wektorów po współrzędnych.
W literaturze i implementacjach występują różne konwencje oznaczeń, ale podstawowa idea pozostaje taka sama: stan komórki jest aktualizowany przez połączenie zapamiętanej informacji z nową informacją kontrolowaną bramkami.
Mechanizm przepływu gradientu Jedną z najważniejszych cech LSTM jest istnienie ścieżki, po której informacja może być przenoszona przez kolejne kroki czasowe z mniejszą utratą niż w prostej sieci RNN. W równaniu
stan komórki zależy addytywnie od poprzedniego stanu . W uproszczeniu pochodna stanu komórki względem poprzedniego stanu ma składnik
Jeżeli bramka zapominania przyjmuje wartości bliskie 1, gradient może przepływać przez wiele kroków czasowych bez szybkiego zaniku.