Існує багато типів штучних нейронних мереж (ШНМ, ).
Штучні нейронні мережі — це , натхнені біологічними нейронними мережами, й які використовують, щоби наближувати функції, зазвичай невідомі. Зокрема, їх надихає поведінка нейронів та електричних сигналів, які вони передають між входом (наприклад, від очей або нервових закінчень у руці), обробкою, та виходом із мозку (наприклад, реакцією на світло, дотик або тепло). Спосіб забезпечення нейронами семантичного зв'язку є областю поточних досліджень. Цитата: «… „Дивно, що після сотні років сучасних нейронаукових досліджень ми досі не знаємо базових функцій обробки інформації нейроном“, зазначив Барлетт Мел…» Цитата: «…„Починаючи з 1980-х років, багато нейробіологів вірили, що вони володіють ключем до того, як нарешті почати розуміти роботу мозку. Але ми надали переконливі свідчення того, що мозок може не кодувати інформацію за допомогою точних моделей діяльності.“…» Цитата: «…„Наша робота передбачає, що мозкові механізми для формування такого роду асоціацій можуть бути надзвичайно подібними у равликів і вищих організмів… Ми не повністю розуміємо навіть дуже прості види навчання у цих тварин.“…» Цитата: «…Маккормік сказав, що майбутні дослідження та моделі роботи нейронів у мозку повинні враховувати змішану аналогово-цифрову природу зв'язку. Лише завдяки глибокому розумінню цього змішаного способу передачі сигналу можна досягти дійсно глибокого розуміння мозку та його розладів, сказав він…» Більшість штучних нейронних мереж лише дещо схожі на свої складніші біологічні аналоги, але вони дуже ефективні у виконанні поставлених завдань (наприклад, класифікування чи сегментування).
Деякі штучні нейронні мережі є адаптивними системами, і їх використовують, наприклад, для та середовищ, які постійно змінюються.
Нейронні мережі можуть бути апаратними (нейрони подано фізичними складовими) та (комп'ютерні моделі), й можуть використовувати різноманітні топології та алгоритми навчання.
Прямого поширення
Нейронна мережа прямого поширення () була першим і найпростішим типом. У цій мережі інформація рухається лише від шару входу безпосередньо крізь будь-які приховані шари до шару виходу, без циклів/петель. Мережі прямого поширення можливо будувати за допомогою різних типів вузлів, таких як бінарні нейрони Маккаллоха — Піттса, найпростішим з яких є перцептрон. Неперервні нейрони, часто з сигмоїдною передавальною функцією, використовують у контексті зворотного поширення.
Метод групового урахування аргументів
Метод групового урахування аргументів (МГУА, ) має повністю автоматичну структурну та параметричну оптимізацію моделі. Передавальними функціями вузлів є поліноми Колмогорова — Габора, які допускають додавання та множення. Він використовує глибокий багатошаровий перцептрон із вісьмома шарами. Це мережа керованого навчання, яка зростає шар за шаром, де кожен шар тренується за допомогою регресійного аналізу. Непотрібні елементи виявляються за допомогою затверджувального набору й відсікаються за допомогою регуляризації. Розмір та глибина отримуваної мережі залежать від поставленого завдання.
Автокодувальник
Автокодувальник (), автоасоціатор, або мережа діаболо схожий на багатошаровий перцептрон (БШП, ) — із шаром входу, шаром виходу й одним або декількома прихованими шарами, що їх з'єднують. Проте шар виходу має таку ж кількість вузлів, що й шар входу. Його призначення — відбудовувати власні дані входу (замість видавати цільове значення). Тож автокодувальники — моделі некерованого навчання. Автокодувальник використовують для некерованого навчання ефективних кодувань, зазвичай з метою зниження розмірності та для навчання породжувальних моделей даних.
Імовірнісний
Імовірнісна нейронна мережа (ІНМ, ) — це чотирирівнева нейронна мережа прямого поширення. Шари: входу, приховані образів та підсумовування, та виходу. В алгоритмі ІНМ батьківську функцію густини ймовірності (ФГІ, ) кожного класу наближують вікном Парцена та непараметричною функцією. Потім, використовуючи ФГІ кожного класу, оцінюють класову ймовірність нового входу й використовують правило Баєса, щоби віднести його до класу з найвищою апостеріорною ймовірністю. Її отримали з баєсової мережі та статистичного алгоритму під назвою . Її використовують для класифікування та розпізнавання образів.
Часова затримка
Нейронна мережа з часовою затримкою () — це архітектура прямого поширення для послідовних даних, яка розпізнає ознаки незалежно від положення в послідовності. Щоби досягти інваріантності щодо зсуву в часі, до даних входу додають затримки, щоби кілька точок даних (точок у часі) аналізувалися разом.
Зазвичай вона є частиною більшої системи розпізнавання образів. Її втілювали за допомогою мережі перцептрона, вагові коефіцієнти з'єднань якої було треновано зворотним поширенням (керованим навчанням)., глава з інтернетпосібника
Згорткова
Згорткова нейронна мережа (ЗНМ, , або зсувоінваріанта чи просторовоінваріантна, ) — це клас глибоких мереж, складених з одного або кількох згорткових шарів, із повноз'єднаними шарами (що відповідають шарам типових ШНМ) нагорі. Вона використовує зв'язані ваги та шари агрегування. Зокрема, максимізаційного агрегування (). Її часто структурують за допомогою згорткової архітектури Фукусіми. Вони є видозмінами багатошарових перцептронів, які використовують мінімальну попередню обробку. Ця архітектура дозволяє ЗНМ використовувати переваги двовимірної структури даних входу.
Її схема з'єднання вузлів натхнена будовою зорової кори. Вузли реагують на стимули в обмеженій області простору, відомій як рецептивне поле. Рецептивні поля частково перекриваються, накриваючи все поле зору. Відгук вузла можливо наблизити математично операцією згортки.
ЗНМ підходять для обробки візуальних та інших двовимірних даних. Вони показали чудові результати у застосуваннях як до зображень, так і до мовлення. Їх можливо тренувати стандартним зворотним поширенням. ЗНМ тренувати легше, ніж інші звичайні глибокі нейронні мережі прямого поширення, і вони мають набагато менше параметрів для оцінювання.
Капсульні нейронні мережі () додають до ЗНМ структури, звані капсулами (), й перевикористовують дані виходу кількох капсул для формування стабільніших (щодо різних збурень) подань.
До прикладів застосувань у комп'ютерному зорі належать DeepDream і . Вони мають широке застосування в розпізнаванні зображень і відео, рекомендаційних системах та обробці природної мови.
Глибока складальна мережа
Глибока складальна мережа (ГСМ, ) (глибока опукла мережа, ) ґрунтується на ієрархії блоків спрощених нейромережних модулів. Її запропонували 2011 року Ден та Ю. Вона формулює навчання як задачу опуклої оптимізації з розв'язком замкненого вигляду, підкреслюючи подібність цього механізму до складального узагальнювання. Кожен блок ГСМ — це простий модуль, який сам по собі легко натренувати керованим чином без зворотного поширення для цілих блоків.
Кожен блок складається зі спрощеного багатошарового перцептрона (БШП) з єдиним прихованим шаром. Прихований шар h має логістичні сигмоїдні вузли, а шар виходу — лінійні. З'єднання між цими шарами подано ваговою матрицею U; з'єднання входу з прихованим шаром мають вагову матрицю W. Цільові вектори t утворюють стовпці матриці T, а вектори даних входу x утворюють стовпці матриці X. Матрицею прихованих вузлів є . Модулі тренують по черзі, тож ваги нижчого шару W на кожному етапі відомі. Функція виконує поелементну логістичну сигмоїдну дію. Кожен із блоків оцінює один і той же клас кінцевих міток y, і його оцінка поєднується з первинним входом X для утворення розширеного входу для наступного блоку. Таким чином, вхід першого блоку містить лише первинні дані, тоді як до входів наступних блоків додаються також і виходи попередніх блоків. Тоді навчання вагової матриці U вищого шару за заданих інших ваг у мережі можливо сформулювати як задачу опуклої оптимізації:
що має розв'язок замкненого вигляду.
На відміну від інших глибоких архітектур, таких як ГМП, метою є не виявляння перетвореного подання ознак. Структура ієрархії такого типу архітектури робить паралельне навчання прямолінійним, як задача оптимізації в пакетному режимі. У суто розрізнювальних завданнях ГСМ перевершують звичайні ГМП.
Тензорні глибокі складальні мережі
Ця архітектура — розширення ГСМ. Вона пропонує два важливі вдосконалення: вона використовує інформацію вищого порядку з коваріаційних статистик, і вона перетворює неопуклу задачу нижчого шару на опуклу підзадачу вищого шару. ТГСМ використовують коваріаційну статистику в білінійному відображенні з кожного з двох окремих наборів прихованих вузлів одного й того ж шару до передбачень за допомогою тензора третього порядку.
В той час як розпаралелювання й масштабованість у звичайних не розглядають серйозно, все навчання для і здійснюється в пакетному режимі, що уможливлює розпаралелювання. Розпаралелювання дозволяє масштабувати цю конструкцію на більші (глибші) архітектури та набори даних.
Ця базова архітектура підходить для різноманітних завдань, таких як класифікування та регресія.
Регуляторний зворотній зв'язок
Мережі з регуляторним зворотним зв'язком () мали початок як модель для пояснення мозкових явищ, виявляних під час розпізнавання, включно в усій мережі та , універсальними при сенсорному розпізнаванні. Механізм для виконання оптимізації під час розпізнавання створюють за допомогою гальмівних з'єднань зворотного зв'язку з тими же входами, які їх активують. Це зменшує вимоги під час навчання та дозволяє полегшити навчання та уточнення, залишаючи можливість виконувати складне розпізнавання.
Мережа з регуляторним зворотним зв'язком здійснює висновування з використанням негативного зворотного зв'язку. Зворотній зв'язок використовується для пошуку оптимального збудження вузлів. Це найбільше схоже на , але відрізняється від k-найближчих сусідів тим, що математично емулює мережі прямого поширення.
Радіальні базисні функції (РБФ)
Радіальні базисні функції () — це функції, які мають критерій відстані відносно якогось центру. Радіальні базисні функції застосовували як заміну сигмоїдної передавальної характеристики прихованого шару в багатошарових перцептронах. Радіальнобазисні мережі (РБМ) мають два шари: на першому дані входу відображувано на кожну РБФ у «прихованому» шарі. Як РБФ зазвичай обирають гауссіани. У задачах регресії шар виходу це лінійна комбінація значень прихованого шару, що подає середній передбачуваний результат. Інтерпретація цього значення шару виходу така же, як і регресійна модель у статистиці. У задачах класифікування шар виходу це зазвичай сигмоїдна функція лінійної комбінації значень прихованого шару, що подає апостеріорну ймовірність. Продуктивність в обох випадках часто покращують за допомогою методик, відомих у класичній статистиці як гребенева регресія. Це відповідає апріорному переконанню в малих значеннях параметрів (а відтак і гладких функціях виходу) в баєсовій системі.
Радіальнобазисні мережі мають перевагу уникання локальних мінімумів так само, як і багатошарові перцептрони. Це пов'язано з тим, що єдині параметри, які підлаштовуються в процесі навчання, це лінійне відображення з прихованого шару до шару виходу. Лінійність гарантує, що поверхня похибки квадратична, і відтак має єдиний мінімум, який легко знаходити. У задачах регресії його можливо знаходити за одну матричну операцію. У задачах класифікування із фіксованою нелінійністю, яку вносить сигмоїдна функція виходу, найефективніше впоруватися за допомогою .
РБМ мають недолік вимагання доброго покриття простору входу радіальними базисними функціями. Центри РБФ визначають із прив'язкою до розподілу даних входу, але без прив'язки до завдання передбачування. Як результат, ресурси подання можуть марнуватися на ділянках простору входу, що не мають відношення до цього завдання. Поширене розв'язання — пов'язати кожну точку даних з її власним центром, хоча це може розширювати лінійну систему для розв'язування на кінцевому шарі, й потребувати стискальних методик задля уникнення перенавчання.