miniatura|Capes de la xarxa neuronal. R, G són pesos utilitzats per l'algorisme wake-sleep per modificar les dades dins de les capes. L'algorisme de desperta-dorm és un algorisme d'aprenentatge no supervisat per a models generatius profunds, especialment màquines de Helmholtz. L'algorisme és similar a l'algorisme de maximització de l'expectativa i optimitza la probabilitat del model per a les dades observades. El nom de l'algorisme deriva del seu ús de dues fases d'aprenentatge, la fase de "desperta" i la fase de "dorm", que es realitzen alternativament. Es pot concebre com un model per a l'aprenentatge al cervell, però també s'està aplicant per a l'aprenentatge automàtic.
Descripció L'objectiu de l'algorisme de vigília-son és trobar una representació jeràrquica de les dades observades. En una representació gràfica de l'algorisme, les dades s'apliquen a l'algorisme a la part inferior, mentre que les capes superiors formen representacions gradualment més abstractes. Entre cada parell de capes hi ha dos conjunts de pesos: pesos de reconeixement, que defineixen com es dedueixen les representacions de les dades, i pesos generatius, que defineixen com aquestes representacions es relacionen amb les dades.
Formació L'entrenament consta de dues fases: la fase de "desperta" i la fase de "dorm". S'ha demostrat que aquest algorisme d'aprenentatge és convergent.
La fase de "desperta" Les neurones s'activen mitjançant connexions de reconeixement (del que seria entrada al que seria sortida). Les connexions generatives (que condueixen de les sortides a les entrades) es modifiquen per augmentar la probabilitat que recreïn l'activitat correcta a la capa inferior, més a prop de les dades reals de l'entrada sensorial.
La fase de "dorm" El procés s'inverteix en la fase de "dorm": les neurones s'activen mitjançant connexions generatives mentre que les connexions de reconeixement es modifiquen per augmentar la probabilitat que recreïn l'activitat correcta a la capa superior, a partir de les dades reals de l'entrada sensorial.
Extensions Com que la xarxa de reconeixement té una flexibilitat limitada, és possible que no pugui aproximar bé la distribució posterior de les variables latents. Per aproximar millor la distribució posterior, és possible utilitzar el mostreig d'importància, amb la xarxa de reconeixement com a distribució proposada. Aquesta aproximació millorada de la distribució posterior també millora el rendiment general del model.
Referències
Categoria:Aprenentatge automàtic