La funzione di attivazione di un nodo in una rete neurale artificiale è una funzione che calcola l'output di un nodo in base ai suoi singoli input e ai loro pesi.

Tra le funzioni di attivazione moderne figurano la funzione logistica (anche detta sigmoide) utilizzata nel modello di riconoscimento vocale del 2012 sviluppato da Hinton et al; la ReLU utilizzata nel modello di visione artificiale AlexNet del 2012 e nel modello ResNet del 2015; e la versione derivabile della ReLU, la GELU, che è stata utilizzata nel modello BERT del 2018.

Confronto delle funzioni di attivazione Oltre alle loro prestazioni empiriche, le funzioni di attivazione possono avere proprietà matematiche tra loro differenti:

Non linearità

Per funzioni di attivazione non lineari si può dimostrare che una rete neurale a due strati con un sufficiente numero di neuroni può approssimare qualsiasi funzione continua su un insieme compatto. Questo è noto come Teorema di approssimazione universale . La funzione di attivazione dell'identità non soddisfa questa proprietà. Quando più livelli utilizzano la funzione di attivazione dell'identità, l'intera rete equivale a un modello a livello singolo.

Immagine Quando l'immagine della funzione di attivazione è finita, i metodi di addestramento basati sul gradiente tendono a essere più numericamente stabili. Il loro gradiente, però, tende generalmente a 0 per valori in ingresso che tendono a infinito (come per la funzione logistica), creando il problema della scomparsa del gradiente. Funzioni non limitate possono contrastare il fenomeno (ad esempio, la funzione ReLU ℝ).

Continuità della derivata

Questa proprietà è auspicabile (ma non necessaria, la funzione ReLU non è differenziabile in modo continuo e presenta alcuni problemi con l'ottimizzazione basata sul gradiente) per abilitare metodi di ottimizzazione basati sul gradiente. La funzione di attivazione a gradino, ad esempio, non è differenziabile a 0 e si differenzia a 0 per tutti gli altri valori, quindi i metodi basati sul gradiente non possono utilizzarla.

Dettagli matematici Funzioni di attivazione comuni Le funzioni di attivazione più semplici sono quelle utilizzabili nei layer nascosti di una rete neurale feed-forward:

Attivazione lineare : , Attivazione ReLU : , Attivazione di Heaviside : , Attivazione logistica : .

Nelle reti neurali ispirate alla biologia, la funzione di attivazione è solitamente un'astrazione che rappresenta la velocità di attivazione del potenziale d'azione nella cellula neuronale. Nella sua forma più semplice, questa funzione è binaria, cioè o il neurone si attiva oppure no. Inoltre, i neuroni hanno una frequenza massima di volte in cui possono attivarsi, il che può essere rappresentato da funzioni di attivazione la cui immagine è finita come la sigmoidea.

Se la funzione di attivazione scelta ha una coefficiente angolare positivo, d'altro canto, ciò potrebbe modellare l'aumento della frequenza di attivazione che si verifica all'aumentare della tensione di ingresso. Una tale funzione sarebbe della forma .

Funzioni di attivazione radiali Nelle reti RBF si utilizza una classe speciale di funzioni di attivazione note come funzioni radiali di base (RBF). Queste attivazioni possono essere di diverso tipo, ma solitamente sono strutturate come una delle seguenti funzioni:

Gaussiana : Multiquadratica: Multiquadratica inversa: Spline poliarmoniche

dove è il vettore che identifica il centro della funzione mentre E sono due fattori di forma che influenzano la diffusione del raggio.

Funzioni di aggregazione Le funzioni di aggregazione sono ampiamente utilizzate negli strati di pooling nelle reti neurali convoluzionali e negli strati di output delle reti di classificazione. Queste funzioni eseguono un'aggregazione sui dati ricevuti in input, ad esempio prendendone la media, il minimo o il massimo. Nella classificazione viene spesso utilizzata l'attivazione softmax. Nelle reti regressive, invece, sono di norma assenti.

Tabella delle funzioni di attivazione La tabella seguente confronta le proprietà di diverse funzioni di attivazione a livello analitico (si noti che i nomi delle meno comuni non sono state tradotte dall'inglese per scarsità di letteratura scientifica in lingua italiana in materia): NomeGraficoFunzione, Derivative of , ImmagineClasse di continuitàIdentitàGradinoLogistica (o sigmoide)Tangente iperbolica (tanh)Soboleva modified hyperbolic tangent (smht)SoftsignRettificatore o Rectified linear unit (ReLU)Gaussian Error Linear Unit (GELU) dove è la funzione degli errori di Gauss. dove è la densità di probabilità di una distribuzione gaussiana standard.SoftplusExponential linear unit (ELU) con parametro Scaled exponential linear unit (SELU) con parametri e Leaky rectified linear unit (Leaky ReLU)Parametric rectified linear unit (PReLU) con parametro Rectified Parametric Sigmoid Units (flessibile, 5 parametri)dove Sigmoid linear unit (SiLU, Sigmoid shrinkage, SiL, o Swish)Exponential Linear Sigmoid SquasHing (ELiSH)GaussianaSeno La tabella seguente elenca invece le funzioni di aggregazione più comuni: Nome Equazione, Derivata, Immagine Classe di continuità Softmax per i = 1, …, J Maxout (massimo)

Qui, è il delta di Kronecker. Per esempio, potrebbe iterare sui kernels del layer precedente della rete mentre itera sui kernel del layer corrente.

Note

Voci correlate Funzione logistica Raddrizzatore (reti neurali) Funzione Softmax Intelligenza artificiale

Collegamenti esterni

Categoria:Reti neurali artificiali