Jeżeli jest bliskie 0, komórka uczy się wygaszać wcześniejszą informację.
W pierwotnej terminologii Hochreitera i Schmidhubera rolę takiej stabilnej ścieżki odgrywał tzw. stały obieg błędu (ang. constant error carousel), dzięki któremu informacja o błędzie mogła być propagowana przez wiele kroków czasowych.
Liczba parametrów Dla wejścia o wymiarze i stanu ukrytego o wymiarze pojedyncza warstwa LSTM musi obliczyć cztery zestawy wielkości: bramkę wejściową, bramkę zapominania, kandydata stanu komórki i bramkę wyjściową. W typowej implementacji oznacza to macierze wag dla wejścia i stanu ukrytego oraz wyrazy wolne dla każdej z tych czterech części.
W uproszczonej konwencji z jednym wektorem wyrazów wolnych liczba parametrów jednej jednokierunkowej warstwy wynosi:
W niektórych implementacjach, na przykład w PyTorch, występują osobne wyrazy wolne dla części wejściowej i rekurencyjnej, co daje:
Dla sieci dwukierunkowej liczba parametrów jest odpowiednio większa, ponieważ utrzymywane są osobne parametry dla kierunku w przód i kierunku wstecz.