Le perceptron est un algorithme d'apprentissage supervisé de classifieurs binaires (c'est-à-dire séparant deux classes). Il a été inventé en 1957 par Frank Rosenblatt au laboratoire d'aéronautique de l'université Cornell. Il s'agit d'un neurone formel muni d'une règle d'apprentissage qui permet de déterminer automatiquement les poids synaptiques de manière à séparer un problème d'apprentissage supervisé. Si le problème est linéairement séparable, un théorème assure que la règle du perceptron permet de trouver une séparation entre les deux classes.

Définition Le perceptron est le réseau de neurones à action directe le plus simple. Dans sa version initiale, le perceptron est mono-couche et n'a qu'une seule sortie (booléenne) à laquelle toutes les entrées (booléennes) sont connectées. Plus généralement, les entrées peuvent être des nombres réels et c'est alors un classifieur linéaire de données vectorielles réelles.

Un perceptron à n entrées et à une seule sortie y est un modèle paramétrique défini par n poids et un biais (ou seuil) parLe Perceptron, dans Marc Tommasi , Apprentissage automatique : les réseaux de neurones, cours à l'université de Lille 3.:

La sortie y résulte alors de l'application de la fonction de Heaviside au potentiel post-synaptique , où la fonction de Heaviside est :

On a alors . La fonction est non linéaire et appelée fonction d'activation. Une alternative couramment employée est , la tangente hyperbolique.

Algorithme d'apprentissage Notations

Dans la suite de cet article, on considère un échantillon fini de données labélisées , avec pour tout , , où Ainsi, le biais est inclus dans le vecteur ., et . On dit alors que les vecteurs sont les « exemples » et que les points sont leurs « classes ». Puisque le perceptron ne traite que les problèmes de classification binaire, les ne peuvent prendre que deux valeurs, par convention et .

Enfin, on pose , et .

On suppose également que est linéairement séparable, donc est (strictement) positif. Le fait que soit non-nul découle du lemme suivant :

Énoncé Il existe plusieurs algorithmes d'apprentissage pour un perceptron. L'un des premiers est l'algorithme du perceptron de Rosenblatt, inventé en 1957, qui a pour but de trouver les paramètres d'un hyperplan séparant correctement les deux classes de données.. :

Entrées : un échantillon de données labellisées Sortie : la matrice de poids telle que 1 Initialiser 2 Répéter 3 Pour à 4 Si alors 5 6 Fin pour 7 jusqu'à ce qu'il n'y ait plus d'erreurs 8 Retourner L'algorithme du perceptron de Rosenblatt est un cas particulier de l'algorithme du gradient stochastique utilisant comme fonction objectif , où est l'ensemble des exemples mal classés ; et un taux d'apprentissage de Hastie, The Elements of Statistical Learning, ..

Convergence

La convergence de l'algorithme est démontrée en 1962 par Novikoff.Lorsque les données entrées ne sont pas linéairement séparables, l'algorithme ne converge pas, et la suite est périodique. Le cycle peut cependant être long et difficile à détecter.

Règle de Hebb

La règle de Hebb, établie par Donald Hebb Donald Olding HEBB, The Organization of Behavior, New York, Wiley & Sons, 1949., est une règle d'apprentissage des réseaux de neurones artificiels dans le contexte de l'étude d'assemblées de neurones.

Cette règle suggère que lorsque deux neurones sont excités conjointement, ils créent ou renforcent un lien les unissant.

Dans le cas d'un neurone artificiel seul utilisant la fonction signe comme fonction d'activation cela signifie que :

où représente le poids corrigé et représente le pas d'apprentissage.

Règle d'apprentissage du perceptron (loi de Widrow-Hoff)

Le perceptron de Frank Rosenblatt est très proche de la règle de Hebb, la grande différence étant qu'il tient compte de l'erreur observée en sortie.

Cette fonction est recommandée lorsque la tangente hyperbolique (tanh) est utilisée comme fonction d'activation.

avec : = le poids corrigé ; = sortie attendue ; = sortie observée ; = le taux d'apprentissage ; = l'entrée du poids pour la sortie attendue ; = le poids actuel.

Notes et références

Notes

Références

Voir aussi

Neurone formel Réseau neuronal artificiel Perceptron multicouche

Bibliographie

F. Rosenblatt (1958), The perceptron: a probabilistic model for information storage and organization in the brain, - repris dans J.A. Anderson & E. Rosenfeld (1988), Neurocomputing. Foundations of Research, MIT Press

Trevor Hastie, Robert Tibshirani et Jerome Friedman, The Elements of Statistical Learning : Data Mining, Inference, and Prediction, Second Edition, Springer New York, 2009, .

Catégorie:Réseau de neurones artificiels Catégorie:Intelligence artificielle