Neuronska mreža širenja unapred () je jedan od dva široka tipa veštačke neuronske mreže, koju karakteriše pravac toka informacija između njenih slojeva. Njegov tok je jednosmeran, što znači da informacije u modelu teku samo u jednom pravcu — napred — od ulaznih čvorova, preko skrivenih čvorova (ako ih ima) i do izlaznih čvorova, bez ikakvih ciklusa ili petlji, za razliku od rekurentnih neuronskih mreža, koje imaju dvosmerni tok. Moderne mreže unapred su obučene korišćenjem metode propagacije unazadRosenblatt, Frank. x. Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms. Spartan Books, Washington DC, 1961Rumelhart, David E., Geoffrey E. Hinton, and R. J. Williams. "Learning Internal Representations by Error Propagation ". David E. Rumelhart, James L. McClelland, and the PDP research group. (editors), Parallel distributed processing: Explorations in the microstructure of cognition, Volume 1: Foundation. MIT Press, 1986. i kolokvijalno se nazivaju „vanila” neuronske mreže.Hastie, Trevor. Tibshirani, Robert. Friedman, Jerome. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Springer, New York, NY, 2009.

Hronologija

Godine 1958, višeslojnu mrežu perceptrona, koja se sastoji od ulaznog sloja, skrivenog sloja sa randomizovanim ponderima koji nisu učili, i izlaznog sloja sa vezama za učenje, već je predstavio Frenk Rozenblat u svojoj knjizi Perceptron. Ova mašina za ekstremno učenje još nije bila mreža za duboko učenje.

Godine 1965, Aleksej Grigorevič Ivahnjenko i Valentin Lapa, objavili su prvu mrežu sa dubokim učenjem, koja još nije koristila stohastički gradijentni spuštanja, u to vreme nazvanu Grupni metod rukovanja podacima.

Godine 1967, mreža sa dubokim učenjem, koristeći stohastički gradijentni spusta po prvi put bila je u stanju da klasifikuje nelinearno odvojive klase šablona, kao što je izvestio Šuniči Amari. Amarijev učenik Sajto je sproveo kompjuterske eksperimente, koristeći petoslojnu mrežu širenja unapred sa dva sloja učenja.

Godine 1970, je finski istraživač Sepo Linajnma po prvi put objavio modernu metodu propagacije unazad, efikasnu primenu nadgledanog učenja zasnovanog na lančanim pravilima. Sam termin (tj. „greške propagiranja unazad“) je koristio sam Rozenblat, ali on nije znao kako da ga implementira iako je kontinuirani prekurzor propagacije unazad već korišćen u kontekstu teorije upravljanja u radu Henrija DŽ. Kelija 1960. godine. Poznat je i kao reverzni način automatske diferencijacije.

Godine 1982, propagacija unazad je primenjena na način koji je postao standard, po prvi put od strane Pola Verbosa.

Godine 1985, eksperimentalnu analizu tehnike sproveli su Dejvid E. Rumelhart et al. U narednim decenijama napravljena su mnoga poboljšanja u pristupu.

Godine 1987, koristeći stohastički gradijentni spust unutar (široke 12-slojne nelinearne) mreže unapred, Metju Brend ju je obučio da reprodukuje logičke funkcije netrivijalne dubine kola, koristeći male serije nasumičnih ulazno/izlaznih uzoraka. On je, međutim, zaključio da je na hardveru (sub-megaflop računarima) koji je bio dostupan u to vreme to bilo nepraktično, i predložio je korišćenje fiksnih nasumičnih ranih slojeva kao ulaznog heša za jedan sloj koji se može menjati.Matthew Brand (1988) Machine and Brain Learning. University of Chicago Tutorial Studies Bachelor's Thesis, 1988. Reported at the Summer Linguistics Institute, Stanford University, 1987

Tokom 1990-ih, Vladimir Vapnik i njegove kolege razvili su (mnogo jednostavniju) alternativu korišćenju neuronskih mreža, iako još uvek srodnuR. Collobert and S. Bengio (2004). Links between Perceptrons, MLPs and SVMs. Proc. Int'l Conf. on Machine Learning (ICML). mašini potpornih vektora. Pored izvođenja linearne klasifikacije, oni su bili u stanju da efikasno izvrše nelinearnu klasifikaciju koristeći ono što se naziva trik jezgra, koristeći visokodimenzione prostore karakteristika.

Godine 2003, interesovanje za mreže za širenje unazad se vratilo zbog uspeha dubokog učenja koje je Džošua Bengio sa koautorima primenio na modelovanje jezika.

Godine 2017, uvedene su moderne transformatorske arhitekture.

Reference

Spoljašnje veze Feedforward neural networks tutorial Feedforward Neural Network: Example Feedforward Neural Networks: An Introduction

Категорија:Вештачке неуронске мреже