Funkcja ReLU, prostowana jednostka liniowa (), jednostronnie obcięta funkcja liniowa – funkcja aktywacji zdefiniowana jako nieujemna część jej argumentu:
mały|Wykres ReLU w pobliżu x = 0
ReLU jest jedną z najpopularniejszych funkcji aktywacji sztucznych sieci neuronowych i znajduje zastosowanie w komputerowym widzeniu przy użyciu głębokich sieci neuronowych.
Zalety
Do zalet funkcji ReLU należą:
Rzadka aktywacja: w sieci z losowo zainicjowanymi wagami tylko około 50% neuronów w warstwach ukrytych jest aktywowanych (tzn. ma niezerową wartość wyjściową). Lepsza propagacja gradientu: mniejsze ryzyko wystąpienia problemu zanikającego gradientu w porównaniu z sigmoidalnymi funkcjami aktywacji, które nasycają się w obu kierunkach. Wydajność obliczeniowa: funkcja jest bardzo prosta obliczeniowo – wymaga jedynie porównania z zerem i operacji dodawania. Niezmienność ze względu na skalę (jednorodność): .
Potencjalne problemy
Możliwe wady funkcji ReLU to między innymi: