formalnie zidentyfikowano przyczynę tej awarii w problemie zanikających gradientów, który dotyczy nie tylko wielowarstwowych sieci jednokierunkowych, ale także sieci rekurencyjnych.
Rozwiązania Istnieją metody rozwiązania tego problemu.
RNN W przypadku rekurencyjnych sieci neuronowych do rozwiązania problemu zaprojektowano sieć o długiej pamięci krótkotrwałej.
W przypadku problemu eksplodującego gradientu można przycinać gradient, czyli dzielić wektor gradientu przez jeśli . Ogranicza to wektory gradientu w obrębie kuli o promieniu .
Normalizacja partiami Normalizacja partiami (batch normalization) jest metodą rozwiązywania problemów zarówno gradientu eksplodującego, jak i zanikającego.
Szybszy sprzęt Postęp w sprzęcie sprawił, że od 1991 do 2015 r. moc obliczeniowa komputerów (zwłaszcza dostarczana przez procesory graficzne) wzrosła około miliona razy, dzięki czemu standardowa propagacja wsteczna stała się możliwa w sieciach o kilka warstw głębszych niż w momencie odkrycia problemu zanikających gradientów.