Funkcja ReLU, prostowana jednostka liniowa (), jednostronnie obcięta funkcja liniowa – funkcja aktywacji zdefiniowana jako nieujemna część jej argumentu:

mały|Wykres ReLU w pobliżu x = 0

ReLU jest jedną z najpopularniejszych funkcji aktywacji sztucznych sieci neuronowych i znajduje zastosowanie w komputerowym widzeniu przy użyciu głębokich sieci neuronowych.

Zalety

Do zalet funkcji ReLU należą:

Rzadka aktywacja: w sieci z losowo zainicjowanymi wagami tylko około 50% neuronów w warstwach ukrytych jest aktywowanych (tzn. ma niezerową wartość wyjściową). Lepsza propagacja gradientu: mniejsze ryzyko wystąpienia problemu zanikającego gradientu w porównaniu z sigmoidalnymi funkcjami aktywacji, które nasycają się w obu kierunkach. Wydajność obliczeniowa: funkcja jest bardzo prosta obliczeniowo – wymaga jedynie porównania z zerem i operacji dodawania. Niezmienność ze względu na skalę (jednorodność): .

Potencjalne problemy

Możliwe wady funkcji ReLU to między innymi: