A les xarxes neuronals artificials, una capa convolucional és un tipus de capa de xarxa que aplica una operació de convolució a l'entrada. Les capes convolucionals són alguns dels components principals de les xarxes neuronals convolucionals (CNN), una classe de xarxes neuronals que s'aplica amb més freqüència a imatges, vídeo, àudio i altres dades que tenen la propietat d'una simetria translacional uniforme. miniatura|347x347px|Capes convolucionals d'una xarxa neuronal convolucional. Les diferents capes d'una CNN es caracteritzen per diferents canals i diferents factors de pas espacial. L'operació de convolució en una capa convolucional consisteix a fer lliscar una petita finestra (anomenada nucli o filtre) per les dades d'entrada i calcular el producte puntual entre els valors del nucli i l'entrada a cada posició. Aquest procés crea un mapa de característiques que representa les característiques detectades a l'entrada.
Història El concepte de convolució a les xarxes neuronals es va inspirar en l'escorça visual del cervell biològic. Els primers treballs de Hubel i Wiesel a la dècada de 1960 sobre el sistema visual del gat van establir les bases per a xarxes de convolucions artificials.
Kunihiko Fukushima va desenvolupar una xarxa neuronal de convolució primerenca el 1969. Tenia principalment nuclis dissenyats a mà inspirats en les circumvolucions de la visió dels mamífers. El 1979 el va millorar al Neocognitron, que aprèn tots els nuclis convolucionals mitjançant un aprenentatge no supervisat (en la seva terminologia, "autoorganitzat per 'aprenentatge sense professor'").
Durant el període 1988-1998, Yann LeCun et al. va introduir una sèrie de CNN, que va acabar amb LeNet-5 el 1998. Va ser una de les primeres arquitectura influent de la CNN per al reconeixement de dígits escrits a mà, entrenada en el conjunt de dades MNIST i es va utilitzar en ATM.
(Olshausen & Field, 1996) van descobrir que les cèl·lules simples de l'escorça visual primària dels mamífers implementen camps receptius de pas de banda localitzats, orientats, que es podrien recrear ajustant codis lineals escassos per a escenes naturals. Més tard es va trobar que això també passava als nuclis de nivell més baix de CNN entrenats.: Fig 3
El camp va veure un ressorgiment a la dècada de 2010 amb el desenvolupament d'arquitectures més profundes i la disponibilitat de grans conjunts de dades i potents GPU. AlexNet, desenvolupat per Alex Krizhevsky et al. el 2012, va ser un esdeveniment catalitzador de l'aprenentatge profund modern.
Conceptes Nucli Els nuclis, també coneguts com a filtres, són petites matrius de pesos que s'aprenen durant el procés d'entrenament. Cada nucli és responsable de detectar una característica específica a les dades d'entrada. La mida del nucli és un hiperparàmetre que afecta el comportament de la xarxa.
Convolució Per a una entrada 2D i un nucli 2D , l'operació de convolució 2D es pot expressar com: on i són l'alçada i l'amplada del nucli, respectivament.
Això es generalitza immediatament a nD convolucions. Les circumvolucions que s'utilitzen habitualment són 1D (per a àudio i text), 2D (per a imatges) i 3D (per a objectes espacials i vídeos).
Passada Stride determina com es mou el nucli per les dades d'entrada. Un pas d'1 significa que el nucli es desplaça d'un píxel alhora, mentre que un pas més gran (p. ex., 2 o 3) provoca menys solapament entre convolucions i produeix mapes de característiques de sortida més petits.
Encoixinat El farciment implica afegir píxels addicionals al voltant de les vores de les dades d'entrada. Té dues finalitats principals:
Preservant les dimensions espacials: sense farciment, cada circumvolució redueix la mida del mapa de característiques. Gestió dels píxels de la vora: el farciment garanteix que els píxels de la vora tinguin la mateixa importància en el procés de convolució.
Les estratègies de farciment habituals inclouen:
Sense farciment/encoixinat vàlid. Aquesta estratègia normalment fa que la sortida es redueixi. Mateix farciment: qualsevol mètode que garanteixi la mateixa mida de sortida que la mida d'entrada sigui una mateixa estratègia de farciment. Farciment complet: qualsevol mètode que garanteixi que cada entrada d'entrada es convolucioni el mateix nombre de vegades és una estratègia de farciment complet.
Els algorismes de farciment comuns inclouen:
Farciment zero: afegiu zero entrades a les vores d'entrada. Mirall/reflecte/recoixinat simètric: reflecteix la matriu d'entrada a la vora. Encoixinat circular: torneu la matriu d'entrada a la vora oposada, com un torus.
Els nombres exactes utilitzats en les circumvolucions són complicats, per als quals ens referim a (Dumoulin i Visin, 2018) per a més detalls.
Variants Estàndard La forma bàsica de convolució descrita anteriorment, on cada nucli s'aplica a tot el volum d'entrada.
Separables en profunditat La convolució separable en profunditat separa la convolució estàndard en dos passos: la convolució en profunditat i la convolució puntual. La convolució separable en profunditat descompon una única convolució estàndard en dues circumvolucions: una convolució en profunditat que filtra cada canal d'entrada de manera independent i una convolució puntual ( convolució) que combina les sortides de la convolució en profunditat. Aquesta factorització redueix significativament el cost computacional.
It was first developed by Laurent Sifre during an internship at Google Brain in 2013 as an architectural variation on AlexNet to improve convergence speed and model size.
Dilatada La convolució dilatada, o convolució atrosa, introdueix buits entre els elements del nucli, permetent a la xarxa capturar un camp receptiu més gran sense augmentar la mida del nucli.
Transposat La convolució transposada, també coneguda com a deconvolució, convolució de passos fraccionats i convolució de mostreig superior, és una convolució on el tensor de sortida és més gran que el seu tensor d'entrada. Sovint s'utilitza en arquitectures de codificador-decodificador per a l'augment de mostreig. S'utilitza en tasques de generació d'imatges, segmentació semàntica i superresolució.
Referències
Categoria:Xarxes neuronals artificials