Użycie odpowiednich funkcji aktywacji Tradycyjne funkcje aktywacji, takie jak funkcja sigmoidalnej czy tangens hiperboliczny (tanh) wykazują tendencję do nasycania się – dla dużych (dodatnich lub ujemnych) wartości wejściowych ich pochodne stają się ekstremalnie małe, a krzywa funkcji staje się niemal płaska. Podczas procesu wstecznej propagacji błędu, który opiera się na wielokrotnym mnożeniu pochodnych z kolejnych warstw (zgodnie z regułą łańcuchową), te mikroskopijne wartości kumulują się. W efekcie poprawki wag w warstwach położonych najbliżej wejścia dążą do zera, co sprawia, że dolne warstwy sieci przestają się uczyć, a cały proces treningowy nie zbiega do optymalnego rozwiązania.
Aby wyeliminować to ograniczenie, we współczesnych architekturach standardem stała się funkcja ReLU (Rectified Linear Unit) oraz jej warianty. Kluczową cechą ReLU jest to, że nie nasyca się ona dla dodatnich argumentów, a jej pochodna w tym zakresie wynosi zawsze 1.