Dans le domaine informatique et de l'intelligence artificielle, l'apprentissage non supervisé désigne la situation d'apprentissage automatique où les données ne sont pas étiquetées (par exemple étiquetées comme « balle » ou « poisson »). Il s'agit donc de découvrir les structures sous-jacentes à ces données non étiquetées. Puisque les données ne sont pas étiquetées, il est impossible à l'algorithme de calculer de façon certaine un score de réussite. Ainsi, les méthodes non supervisées présentent une auto-organisation qui capture les modèles comme des densités de probabilité ou, dans le cas des réseaux de neurones, comme combinaison de préférences de caractéristiques neuronales encodées dans les poids et les activations de la machine.
Les autres niveaux du spectre de supervision sont l'apprentissage par renforcement où la machine ne reçoit qu'un score de performance numérique comme guide, et l'apprentissage semi-supervisé où une petite partie des données est étiquetée.
L'introduction dans un système d'une approche d'apprentissage non supervisé est un moyen d'expérimenter l'intelligence artificielle.
En général, des systèmes d'apprentissage non supervisé permettent d'exécuter des tâches plus complexes que les systèmes d'apprentissage supervisé, mais ils peuvent aussi être plus imprévisibles. Même si un système d'IA d'apprentissage non supervisé parvient tout seul, par exemple, à faire le tri entre des chats et des chiens, il peut aussi ajouter des catégories inattendues et non désirées, et classer des races inhabituelles, introduisant plus de bruit que d'ordre..
Apprentissage non supervisé et apprentissage supervisé L'apprentissage non supervisé consiste à apprendre sans superviseur. Il s’agit d’extraire des classes ou groupes d’individus présentant des caractéristiques communes.. La qualité d'une méthode de classification est mesurée par sa capacité à découvrir certains ou tous les motifs cachés. vignette|Différence entre apprentissage supervisé et non supervisé.
On distingue l'apprentissage supervisé et l'apprentissage non supervisé. Dans le premier, il s’agit d’apprendre à classer un nouvel individu parmi un ensemble de classes prédéfinies : on connaît les classes a priori. À l'inverse, dans l'apprentissage non supervisé, le nombre et la définition des classes ne sont pas donnés a priori..
vignette|Tendance pour une tâche à utiliser des méthodes supervisées ou non supervisées. Les noms de tâches chevauchant les limites du cercle montrent que la division classique des tâches imaginatives (à gauche) utilisant des méthodes non supervisées est floue dans les schémas d'apprentissage d'aujourd'hui.
Pour les réseaux de neurones Les tâches du réseau de neurones sont souvent classées comme discriminatives (reconnaissance) ou génératives (imagination). Les tâches discriminatives utilisent souvent (mais pas toujours) des méthodes supervisées et les tâches génératives utilisent des méthodes non supervisées (voir diagramme de Venn) ; cependant, la séparation est très floue.
Par exemple, la reconnaissance d'objets favorise l'apprentissage supervisé, mais l'apprentissage non supervisé peut également regrouper des objets en groupes.
De plus, au fur et à mesure que des progrès, certaines tâches utilisent les deux méthodes, et certaines tâches oscillent de l'une à l'autre.
Par exemple, la reconnaissance d'images a commencé comme étant fortement supervisée, mais est devenue hybride en employant un pré-entrainement non supervisée, puis est revenue à la supervision avec l'avènement de l'abandon, de ReLU et des taux d'apprentissage adaptatifs.
Types Les techniques d'apprentissage non supervisé peuvent être utilisées pour résoudre, entre autres, les problèmes suivants. :
la découverte de structures, notamment le partitionnement de données ou clustering ; l'estimation de densité de distribution (distribution de mélange, estimation par noyau) ; les tâches génératives (utilisant des réseaux de neurones artificiels) ; l'apprentissage de représentations, qui inclut la réduction de dimension (analyse en composantes principales, carte auto-adaptative, analyse en composantes indépendantes, auto-encodeur) ou l'augmentation (auto-encodeur ).
L'apprentissage non supervisé peut aussi être utilisé en conjonction avec une inférence bayésienne pour produire des probabilités conditionnelles pour chaque variable aléatoire étant donné les autres.
Modèles probabilistes (non neuronal)
Modèle génératif
Les modèles probabilistes comprennent :
les classificateurs bayésiens naïfs ; les réseaux bayésiens ; les modèles de Markov cachés ; les champs aléatoires de Markov ; les modèles de mélange Gaussien.
Partitionnement de données
Le partitionnement de données, regroupement ou est la technique la plus utilisée pour résoudre les problèmes d'apprentissage non supervisé. La mise en cluster consiste à séparer ou à diviser un ensemble de données en un certain nombre de groupes, de sorte que les ensembles de données appartenant aux mêmes groupes se ressemblent davantage que ceux d’autres groupes. En termes simples, l’objectif est de séparer les groupes ayant des traits similaires et de les assigner en grappes.
Le consiste à regrouper des points de données selon une mesure de similarité, tandis que les règles d’association visent à découvrir des dépendances entre attributs au sein des données.
L'un des algorithmes les plus connus et utilisés en est celui des k-moyennes. Cet algorithme classe dans des « zones » () les données qui se ressemblent. L’approche de K-moyennes consiste à affecter aléatoirement des centres de , appelés , puis à assigner chaque point des données au qui lui est le plus proche..
Estimation de densité de distribution
Réduction de dimension
Réseaux de neurones
Apprentissage Pendant la phase d'apprentissage, un réseau non supervisé essaie d'imiter les données qui lui sont fournies et utilise l'erreur dans sa sortie imitée pour se corriger (c'est-à-dire corriger ses poids et ses biais). Parfois, l'erreur est exprimée comme une faible probabilité que la sortie erronée se produise, ou elle peut être exprimée comme un état de haute énergie instable dans le réseau.
Contrairement à l'utilisation dominante de la rétropropagation par les méthodes supervisées, l'apprentissage non supervisé utilise également d'autres méthodes, notamment : la règle d'apprentissage de Hopfield, la règle d'apprentissage de Boltzmann, la divergence contrastive, le sommeil éveillé, l'inférence variationnelle, la vraisemblance maximale, le maximum A Posteriori, l'échantillonnage de Gibbs, et la rétropropagation des erreurs de reconstruction ou des reparamétrisations d'état caché. Voir le tableau ci-dessous pour plus de détails.
Énergie Une fonction énergétique est une mesure macroscopique de l'état d'activation d'un réseau. Dans les machines Boltzmann, il joue le rôle de la fonction de coût. Cette analogie avec la physique est inspirée de l'analyse par Ludwig Boltzmann de l'énergie macroscopique d'un gaz à partir des probabilités microscopiques du mouvement des particules , où k est le Constante de Boltzmann et T est la température. Dans le réseau RBM, la relation est ., où p & E varient sur chaque schéma d'activation possible et . Pour être plus précis, , où a est un modèle d'activation de tous les neurones (visibles et cachés). Par conséquent, les premiers réseaux de neurones portent le nom de Boltzmann Machine. Paul Smolensky appelle l'Harmonie. Un réseau cherche énergie basse qui correspond à une Harmonie haute.
Types de réseaux À mesure que la conception des réseaux évolue, des fonctionnalités sont ajoutées pour activer de nouvelles fonctionnalités ou supprimées pour accélérer l'apprentissage. Par exemple, les neurones changent entre déterministe (Hopfield) et stochastique (Boltzmann) pour permettre une sortie robuste, les poids sont supprimés dans une couche (RBM) pour accélérer l'apprentissage, ou les connexions peuvent devenir asymétriques (Helmholtz). Les connexion symétriques permettent une formulation énergétique globale.
Sont décrits ci-dessous certaines caractéristiques de ces réseaux. D'autres détails sont également donnés dans le tableau comparatif de la partie suivante. Les réseaux sont toujours composés de neurones, on note la matrice de connexion du réseau et l'énergie du réseaux .
Réseau de Hopfield
Publication1982.NeuroneNeurone formel binaire
est l'état de du neurone est le seuil du neurone ÉnergieFormation avec :
le nombre de motif d'entraînement est la valeur du neurone pour le motif 152x152px|centré Un réseau inspiré des domaines magnétiques dans le fer avec une seule couche auto-connectée. Il peut être utilisé comme mémoire adressable par le contenu. Un neurone correspond à un domaine de fer avec des moments magnétiques binaires Up et Down, et les connexions neuronales correspondent à l'influence des domaines les uns sur les autres.
Un réseaux est composé de neurones binaires dont l'état ou pour le neurone . On apprend aux réseaux les motifs , . Pendant l'inférence, on présente au réseau des motifs appris mais incomplet ou bruité, le réseau met à jour chaque état en utilisant la fonction d'activation standard et conduit à un état appris.
Des poids symétriques et les bonnes fonctions d'énergie garantissent la convergence vers un modèle d'activation stable. Les poids asymétriques sont difficiles à analyser. Les réseaux Hopfield sont utilisés comme des mémoires adressables par le contenu (CAM).
Machine de Boltzmann Publication1975.NeuroneLes probabilité d'activation sont données par : avec :ÉnergieFormationminimiser la divergence KL avec :
e = taux d'apprentissage, p' = distribution prédite et p = distribution réelle. centré|152x152px Un réseaux est composé de neurones stochastiques, d'état pour le neurone et dont la probabilité d'activation dépend des activations des autres neurones. Il est séparé en 2 couches (caché vs visible), mais utilise toujours des poids symétriques à 2 voies. Les neurones visibles reçoivent l'entrée qui sont des vecteurs aux valeurs binaires.
Leur valeur d'état est échantillonnée à partir de cette densité de probabilité comme suit : supposons qu'un neurone binaire se déclenche selon une loi de Bernoulli et se repose avec . On échantillonne dans ce dernier en prenant un nombre aléatoire uniformément distribué y, et en le plaçant dans la fonction de distribution cumulative inverse, qui dans ce cas est la fonction seuil à 2/3. La fonction inverse
Machine de Boltzmann restreinte
Publications1986., 2002.NeuroneLes probabilités d'activation sont données par :
avec
la fonction sigmoïde, et respectivement les biais des neurones et .ÉnergieFormationAlgorithme de divergence contrastive:
où désigne des moyennes centré|162x162px Il s'agit d'une machine Boltzmann où les connexions latérales au sein d'une couche sont interdites. On a donc à nouveau des neurones stochastiques, d'état pour le neurone de la couche visible et pour le neurone de la couche caché.
Le réseaux est entrainé pour maximiser produit des probabilité .
Les machines de Boltzmann « non restreintes » peuvent avoir des connexions entre les unités cachées. Cette restriction permet d'utiliser des algorithmes d'apprentissage plus efficaces que ceux disponibles pour la classe générale des machines de Boltzmann, en particulier l'algorithme de divergence contrastive basé sur le gradient.
Réseau de croyance sigmoïde