Рекуре́нтні нейро́нні мере́жі (РНМ, ) — це клас штучних нейронних мереж, у якому з'єднання між вузлами утворюють граф орієнтований у часі. Це створює внутрішній стан мережі, що дозволяє їй проявляти динамічну поведінку в часі. На відміну від нейронних мереж прямого поширення, РНМ можуть використовувати свою внутрішню пам'ять для обробки довільних послідовностей входів. Це робить їх застосовними до таких задач, як розпізнавання несегментованого неперервного рукописного текстуA. Graves, M. Liwicki, S. Fernandez, R. Bertolami, H. Bunke, J. Schmidhuber. A Novel Connectionist System for Improved Unconstrained Handwriting Recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 31, no. 5, 2009. та розпізнавання мовлення.H. Sak and A. W. Senior and F. Beaufays. Long short-term memory recurrent neural network architectures for large scale acoustic modeling. Proc. Interspeech, pp338-342, Singapore, Sept. 201
Архітектури
Повнорекурентна мережа
Це — основна архітектура, розроблена в 1980-х роках: мережа нейроноподібних вузлів, кожен з орієнтованим з'єднанням до кожного іншого вузла. Кожен з вузлів має змінну в часі дійснозначну активацію. Кожне з'єднання має змінювану дійснозначну . Деякі з вузлів називаються входовими вузлами, деякі — виходовими, а решта — прихованими вузлами. Більшість із наведених нижче архітектур є окремими випадками.
Для постановок керованого навчання з дискретним часом тренувальні послідовності входових векторів стають послідовностями активацій входових вузлів, по одному вектору на кожен момент часу. В кожен заданий момент часу кожен не входовий вузол обчислює свою поточну активацію як нелінійну функцію від зваженої суми активацій всіх вузлів, від яких до нього надходять з'єднання. Для деяких із виходових вузлів на певних тактах можуть бути задані вчителем цільові активації. Наприклад, якщо входова послідовність є мовленнєвим сигналом, що відповідає вимовленій цифрі, то кінцевий цільовий вихід у кінці послідовності може бути міткою, яка класифікує цю цифру. Для кожної послідовності її похибка є сумою відхилень усіх цільових сигналів від відповідних активацій, обчислених мережею. Для тренувального набору численних послідовностей загальна похибка є сумою похибок усіх окремих послідовностей. Алгоритми мінімізації цієї похибки згадано в розділі алгоритмів тренування нижче.
У постановках навчання з підкріпленням не існує вчителя, який надавав би цільові сигнали для РНМ, натомість час від часу застосовується функція допасованості або функція винагороди для оцінювання продуктивності РНМ, яка впливає на її входовий потік через виходові вузли, з'єднані з приводами, що впливають на середовище. Знов-таки, зробіть порівняння в розділі про тренувальні алгоритми нижче.
Рекурсивні нейронні мережі
Рекурсивна нейронна мережа створюється рекурсивним застосуванням одного й того ж набору ваг до диференційовної графоподібної структури шляхом обходу цієї структури в топологічній послідовності. Також, такі мережі зазвичай тренують зворотним режимом автоматичного диференціювання. (1970). The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors. Master's Thesis (in Finnish), Univ. Helsinki, 6-7. Griewank, Andreas and Walther, A.. Principles and Techniques of Algorithmic Differentiation, Second Edition. SIAM, 2008. Їх було введено для навчання розподілених представлень структури, таких як терміни логіки. Окремим випадком рекурсивних нейронних мереж є самі РНМ, чия структура відповідає лінійному ланцюжкові. Рекурсивні нейронні мережі застосовували до обробки природної мови. Рекурсивна нейронна тензорна мережа () використовує функцію компонування на основі тензорів для всіх вузлів дерева.
Мережа Хопфілда
Мережа Хопфілда становить історичний інтерес, хоч вона й не є загальноприйнятою РНМ, оскільки її побудовано не для обробки послідовностей зразків. Вона натомість вимагає стаціонарних входів. Вона є РНМ, в якій усі з'єднання є симетричними. Винайдена Джоном Хопфілдом 1982 року, вона гарантує, що її динаміка збігатиметься. Якщо з'єднання тренуються із застосуванням геббового навчання, то мережа Хопфілда може працювати як робастна асоціативна пам'ять, стійка до змін з'єднань.
Одним із варіантів мережі Хопфілда є двоспрямована асоціативна пам'ять (ДАП, ). ДАП має два шари, кожен з яких можна використовувати як входовий, щоби викликати асоціацію й виробити вихід на іншому шарі.
Мережі Елмана та Джордана
Наступний окремий випадок наведеної вище основної архітектури було застосовано . Використовується тришарова мережа (впорядкована на ілюстрації по горизонталі як x, y та z) з додаванням набору «контекстних вузлів» (, на ілюстрації — u). Існують з'єднання з середнього (прихованого) шару з цими контекстними вузлами з незмінними одиничними вагами.Cruse, Holk; Neural Networks as Cybernetic Systems , 2nd and revised edition На кожному такті вхід поширюється стандартним прямим чином, а потім застосовується правило навчання. Незмінні зворотні з'єднання призводять до того, що контекстні вузли завжди зберігають копію попередніх значень прихованих вузлів (оскільки вони поширюються з'єднаннями до застосування правила навчання). Таким чином, мережа Елмана може зберігати свого роду стан, що дозволяє їй виконувати такі задачі, як передбачення послідовностей, що є за межами можливостей стандартного багатошарового перцептрону.
Мережі Джордана, що завдячують своєю назвою , подібні до мереж Елмана. Проте подавання на контекстні вузли йде з виходового шару замість прихованого. Контекстні вузли в мережі Джордана також називають шаром стану, і вони мають рекурентні з'єднання самі з собою, без інших вузлів на цих з'єднаннях.
Мережі Елмана та Джордана відомі також як «прості рекурентні мережі» (ПРМ, ).
Мережа Елмана
Мережа Джордана
Змінні та функції : входовий вектор : вектор прихованого шару : виходовий вектор , та : матриці та вектор параметрів та : функції активації
Резервуарне обчислення Резервуарне обчислення — особливий підхід у рекурентних нейронних мережах, що використовує фіксовану випадкову структуру, відому як «резервуар», для ефективної обробки тимчасових даних. Резервуар складається з взаємопов'язаних вузлів із випадковими з'єднаннями, що утворюють динамічну систему, здатну вловлювати складні часові закономірності. На відміну від традиційних РНМ, обчислення пластів передбачає навчання лише вихідного рівня, що спрощує процес навчання. Його обчислювальна ефективність, яка пояснюється фіксованою структурою резервуару, робить його вигідним для завдань, що потребують інтенсивної пам'яті. Застосування охоплюють різні сфери, такі як прогнозування часових рядів і розпізнавання мовлення, демонструючи свою ефективність у обробці послідовних даних. Типи, такі як мережа з відлунням стану (Echo State Networks) і рідкий скінченний автомат (Liquid State Machines,) розширюють його застосування в різних контекстах.
Незважаючи на свої переваги, оптимізація продуктивності пласта для конкретних завдань залишається проблемою. Тим не менш, резервуарні обчислення є перспективною архітектурою в РНМ, пропонуючи обчислювальну ефективність і майстерність в обробці тимчасової інформації. Постійні дослідження спрямовані на підвищення його можливостей і розширення його застосування в різних сферах. Ця парадигма являє собою значний прогрес в архітектурі нейронних мереж, готовий запровадити інновації в часовій обробці даних.
Мережа з відлунням стану
Мережа з відлунням стану () — це рекурентна нейронна мережа з розріджено з'єднаним випадковим прихованим шаром. Унікальність цієї мережі полягає у тому, що лише ваги виходних нейронів підлягають змінам та навчанню, тоді як структура та внутрішній стан резервуару залишаються незмінними. Такі мережі є добрими для відтворення певних часових рядів.H. Jaeger. Harnessing nonlinearity: Predicting chaotic systems and saving energy in wireless communication. Science, 304:78–80, 2004.
Основні особливості:
Резервуар у мережі з відлунням стану має велику кількість взаємопов'язаних вузлів, що формують розріджений прихований шар. Лише вихідні ваги піддаються тренуванню, що спрощує процес навчання та зменшує обчислювальну складність. Мережі з відлунням стану відомі своєю здатністю успішно відтворювати складні часові ряди та використовуються у завданнях прогнозування та моделювання послідовних даних.
Рідкий скінченний автомат Варіант для відомий як рідкі скінченні автомати.W. Maass, T. Natschläger, and H. Markram. A fresh look at real-time computation in generic recurrent neural circuits. Technical report, Institute for Theoretical Computer Science, TU Graz, 2002. Ця модифікація мережі дозволяє здійснювати більш точні та гнучкі прогнози в обробці послідовних даних.
Нейронний стискач історії
Проблему зникання градієнту (1991), Untersuchungen zu dynamischen neuronalen Netzen , Diploma thesis. Institut f. Informatik, Technische Univ. Munich. Advisor: J. Schmidhuber. автоматичного диференціювання та зворотного поширення в нейронних мережах було частково подолано 1992 року ранньою породжувальною моделлю, названою нейронним стискачем історії, реалізованою як некерована стопка рекурентних нейронних мереж (РНМ).Jürgen Schmidhuber. Learning complex, extended sequences using the principle of history compression. Neural Computation, 4(2):234–242. Online РНМ на входовому рівні навчається передбачувати свій наступний вхід з історії попередніх входів. Лише непередбачувані входи певної РНМ в цій ієрархії стають входами до РНМ наступного вищого рівня, яка відтак переобчислює свій внутрішній стан лише зрідка. Кожна РНМ вищого рівня відтак навчається стисненого представлення інформації в нижчій РНМ. Це здійснюється таким чином, що вхідну послідовність може бути точно відтворено з представлення цієї послідовності на найвищому рівні. Ця система дієво мінімізує довжину опису або від'ємний логарифм імовірності даних.Jürgen Schmidhuber (2015). Deep Learning. Scholarpedia, 10(11):32832. Section on Unsupervised Pre-Training of RNNs and FNNs Якщо в послідовності вхідних даних є багато передбачуваності, яка піддається навчанню, то РНМ найвищого рівня може використовувати кероване навчання, щоби легко класифікувати навіть глибокі послідовності з дуже тривалими часовими інтервалами між важливими подіями. 1993 року така система вже розв'язала задачу «дуже глибокого навчання» (), яка вимагає понад 1 000 послідовних шарів в розгорнутій у часі РНМ.Jürgen Schmidhuber (1993). Habilitation thesis, TUM, 1993. Page 150 ff demonstrates credit assignment across the equivalent of 1,200 layers in an unfolded RNN. Online
Також можливо перегнати всю цю ієрархію РНМ в лише дві РНМ, що називають «свідомим» фрагментатором (, вищий рівень) та «підсвідомим» автоматизатором (, нижчий рівень). Щойно фрагментатор навчився передбачувати та стискати входи, які є все ще не передбачуваними автоматизатором, то в наступній фазі навчання можна навантажити автоматизатор передбачуванням або імітуванням через особливі додаткові вузли прихованих вузлів повільніше змінюваного фрагментатора. Це полегшує автоматизаторові навчання доречних рідко змінюваних спогадів протягом дуже тривалих проміжків часу. Це, своєю чергою, допомагає автоматизаторові робити багато з його колись непередбачуваних входів передбачуваними, таким чином, що фрагментатор може зосередитися на решті все ще непередбачуваних подій, щоби стискати дані ще сильніше.
Довга короткочасна пам'ять