pokazali m.in. niezdolność do uczenia się przez perceptrony bramek XOR.
Przezwyciężenie tego ograniczenia nastąpiło dzięki:
a). wprowadzeniu różniczkowalnych funkcji aktywacji, m.in. ReLU (Rectified Linear Unit), Sigmoid (funkcja logistyczna), Tgh (funkcja tangens hiperboliczny), Softmax, Leaky ReLU
b). odkryciu nowej metody ucznia sieci, tzw. back propagation, która wymaga liczenia pochodnych funkcji aktywacji - wymóg ten spełniają funkcje różniczkowalne.
Funkcja skokowa, używana w neuronie McCullocha-Pittsa i przejęta przez Rosenblatta, nie jest różniczkowalna, dlatego dopiero zastosowanie jako funkcji aktywacji funkcji różniczkowalnych pozwoliło z czasem odkryć metodę back propagation. Funkcja skokowa aktywacji neuronu McCullocha-Pittsa jest pokazana na schemacie powyżej w sposób symboliczny jako schodek w kwadracie.
Pojedynczy sztuczny neuron Wyjście z pojedynczego sztucznego neuronu oblicza się za pomocą wzoru:
, gdzie:
– wartość progowa () – wejścia – wagi – funkcja aktywacji – wyjście
W konstrukcji pierwotnego perceptronu jako funkcję aktywacji jego neuronów Rosenblatt stosował funkcję skokową, dla której wyjście przyjmowało wartość lub :
W ogólności funkcje aktywacji mogą dawać na wyjściu wartości dyskretne lub ciągłe, np.