Перцептро́н, або персептро́н ( від — сприйняття; ) — математична або комп'ютерна модель сприйняття інформації мозком (кібернетична модель мозку), запропонована Френком Розенблатом в 1957 роціRosenblatt, Frank (1958), The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain, Cornell Aeronautical Laboratory, Psychological Review, v65, No. 6, pp. 386—408. й реалізована у вигляді електронної машини «Марк-1»«Марк-1», зокрема, був системою, що імітує людське око та його взаємодію з мозком. у. 1960 році. Перцептрон став однією з перших моделей нейромереж, а «Марк-1» — першим у світі нейрокомп'ютером. Незважаючи на свою простоту, перцептрон здатен навчатися і розв'язувати досить складні завдання. Основна математична задача, з якою він здатний впоратися — це лінійне розділення довільних нелінійних множин, так зване забезпечення лінійної сепарабельності.
Перцептрон складається з трьох типів елементів, а саме: сигнали, що надходять від давачів, передаються до асоціативних елементів, а відтак до реагуючих. Таким чином, перцептрони дозволяють створити набір «асоціацій» між вхідними та необхідною реакцією на виході. В біологічному плані це відповідає перетворенню, наприклад, зорової інформації у фізіологічну відповідь рухових нейронів. Відповідно до сучасної термінології, перцептрони може бути класифіковано як штучні нейронні мережі: з одним прихованим шаром;«Тришарові» за класифікацією, прийнятою у Розенблата, і «двошарові» за сучасною системою позначень — з тією особливістю, що перший шар не навчається. з пороговою передавальною функцією; з прямим розповсюдженням сигналу.
На тлі зростання популярності нейронних мереж у 1969 році вийшла книга Марвіна Мінського та Сеймура Пейперта, що показала принципові обмеження перцептронів. Це призвело до зміщення інтересу дослідників штучного інтелекту в протилежну від нейромереж область символьних обчислень.В межах символьного підходу працюють над створенням експертних систем, організацією баз знань, аналізом текстів. Крім того, через складність математичного аналізу перцептронів, а також відсутність загальноприйнятої термінології, виникли різні неточності і помилки.
Згодом інтерес до нейромереж, і зокрема, робіт Розенблата, поновився. Так, наприклад, зараз стрімко розвивається біокомп'ютинг, що у своїй теоретичній основі обчислень, зокрема, базується на нейронних мережах, а перцептрон відтворюють на базі бактеріородопсинмісних плівок.
Поява перцептрона
У 1943 році в своїй статті «Логічне числення ідей, що стосуються нервової активності» Воррен Маккалох і запропонували поняття штучної нейронної мережі. Зокрема, ними було запропоновано модель штучного нейрону. Дональд Гебб в роботі «Організація поведінки»Donald Olding Hebb The Organization of Behavior: A Neuropsychological Theory 1949 року описав основні принципи навчання нейронів.
Ці ідеї кілька років пізніше розвинув американський нейрофізіолог Френк Розенблат. Він запропонував схему пристрою, що моделює процес людського сприйняття, і назвав його «перцептроном». Перцептрон передавав сигнали від фотоелементів, що являють собою сенсорне поле, в блоки електромеханічних елементів пам'яті. Ці комірки з'єднувалися між собою випадковим чином відповідно до принципів конекціонізму. 1957 року в було успішно завершено моделювання роботи перцептрона на комп'ютері IBM 704, а двома роками пізніше, 23 червня 1960 року в Корнельському університеті, було продемонстровано перший нейрокомп'ютер — «Марк-1», що був здатен розпізнавати деякі з літер англійського алфавіту.Perceptrons.Estebon.html Perceptrons: An Associative Learning Network Поява перцептрону
Щоби «навчити» перцептрон класифікувати образи, було розроблено спеціальний ітераційний метод навчання проб і помилок, що нагадує процес навчання людини — метод корекції помилки.Системи розпізнавання образів Крім того, при розпізнанні тієї чи іншої літери перцептрон міг виділяти характерні особливості літери, що статистично зустрічаються частіше, ніж незначні відмінності в індивідуальних випадках. Таким чином, перцептрон був здатен узагальнювати літери, написані по-різному (різним почерком), в один узагальнений образ. Проте можливості перцептрона були обмеженими: машина не могла надійно розпізнавати частково закриті літери, а також літери іншого розміру, розташовані зі зсувом або поворотом відносно тих, що використовувалися на етапі її навчання.Минский М., Пейперт С., с. 50.
Звіт про перші результати з'явився ще 1958 року — тоді Розенблат було опубліковано статтю «Перцептрон: Ймовірна модель зберігання та організації інформації в головному мозку».The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain Але докладніше свої теорії та припущення щодо процесів сприйняття і перцептронів він описує 1962 року в книзі «Принципи нейродинаміки: Перцептрони та теорія механізмів мозку». У книзі він розглядає не лише вже готові моделі перцептрону з одним прихованим шаром, але й багатошарових перцептронів з (третій розділ) і (четвертий розділ) зв'язками. В книзі також вводиться ряд важливих ідей та теорем, наприклад, доводиться теорема збіжності перцептрону.Розенблатт Ф., с. 102.
Опис елементарного перцептрона
Елементарний перцептрон складається з елементів трьох типів: S-елементів, A-елементів та одного R-елементу. S-елементи — це шар сенсорів, або рецепторів. У фізичному втіленні вони відповідають, наприклад, світлочутливим клітинам сітківки ока або фоторезисторам матриці камери. Кожен рецептор може перебувати в одному з двох станів — спокою або збудження, і лише в останньому випадку він передає одиничний сигнал до наступний шару, асоціативним елементам.
A-елементи називаються асоціативними, тому що кожному такому елементові, як правило, відповідає цілий набір (асоціація) S-елементів. A-елемент активізується, щойно кількість сигналів від S-елементів на його вході перевищує певну величину θ.Формально A-елементи, як і R-елементи, являють собою суматори з порогом, тобто поодинокі нейрони.
Сигнали від збуджених A-елементів, своєю чергою, передаються до суматора R, причому сигнал від i-го асоціативного елемента передається з коефіцієнтом .Фомин, С. В., Беркинблит, М. Б. Математические проблемы в биологии Цей коефіцієнт називається вагою A-R зв'язку.
Так само як і A-елементи, R-елемент підраховує суму значень вхідних сигналів, помножених на ваги (лінійну форму). R-елемент, а разом з ним і елементарний перцептрон, видає «1», якщо лінійна форма перевищує поріг θ, інакше на виході буде «-1». Математично, функцію, що реалізує R-елемент, можна записати так:
Навчання елементарного перцептрона полягає у зміні вагових коефіцієнтів зв'язків A-R. Ваги зв'язків S-A (які можуть приймати значення (-1; 0; 1)) і значення порогів A-елементів вибираються випадковим чином на самому початку і потім не змінюються. (Опис алгоритму див. нижче.)
Після навчання перцептрон готовий працювати в режимі розпізнаванняРозенблатт, Ф., с. 158—162. або узагальнення.Розенблатт, Ф., с. 162—163. У цьому режимі перцептрону пред'являються раніше невідомі йому об'єкти, й він повинен встановити, до якого класу вони належать. Робота перцептрона полягає в наступному: при пред'явленні об'єкта, збуджені A-елементи передають сигнал R-елементу, що дорівнює сумі відповідних коефіцієнтів . Якщо ця сума позитивна, то ухвалюється рішення, що даний об'єкт належить до першого класу, а якщо вона негативна — то до другого.Брюхомицкий Ю. А. Нейросетевые модели для систем информационной безопасности, 2005.
Основні поняття теорії перцептронів
Серйозне ознайомлення з теорією перцептронів вимагає знання базових визначень і теорем, сукупність яких і являє собою базову основу для всіх наступних видів штучних нейронних мереж. Але, як мінімум, необхідно розуміння хоча б з точки зору теорії сигналів, що є оригінальним, тобто описане автором перцептрону Ф. Розенблатом.
Опис на основі сигналів
Для початку визначмо складові елементи перцептрона, які є частковими випадками штучного нейрону з пороговою функцією передачі. Простим S-елементом (сенсорним) є чутливий елемент, який від дії будь-якого з видів енергії (наприклад, світла, звуку, тиску, тепла тощо) виробляє сигнал. Якщо вхідний сигнал перевищує певний поріг θ, на виході елемента отримуємо +1, в іншому випадку — 0.Розенблатт Ф., с. 81. Простим A-елементом (асоціативним) називається логічний елемент, який дає вихідний сигнал +1, коли алгебраїчна сума його вхідних сигналів дорівнює або перевищує деяку граничну величину θ (кажуть, що елемент Активний), в іншому випадку вихід дорівнює нулю. Простим R-елементом (таким, що реагує, тобто діє) називається елемент, який видає сигнал +1, якщо сума його вхідних сигналів є суворо додатною, і сигнал −1, якщо сума його вхідних сигналів є суворо від'ємною. Якщо сума вхідних сигналів дорівнює нулю, вихід вважається або рівним нулю, або невизначеним.
Якщо на виході будь-якого елемента ми отримуємо 1, то кажуть, що елемент активний або збуджений.
Всі розглянуті елементи називаються простими, тому що вони реалізують стрибкоподібні функції. Розенблат стверджував, що для розв'язання складніших завдань можуть знадобитися інші види функцій, наприклад, лінійнаРозенблатт, Ф., с. 200..
В результаті Розенблат ввів такі визначення: Перцептрон являє собою мережу, що складається з S-, A- та R-елементів, зі змінною матрицею взаємодії W (елементи якої — вагові коефіцієнти), що визначається послідовністю минулих станів активності мережіРозенблатт Ф., с. 82.. Перцептроном з послідовними зв'язками називається система, в якій всі зв'язки, що починаються від елементів з логічною відстанню d від найближчого S-елементу, закінчуються на елементах з логічною відстанню d+1 від найближчого S-елементу. Простим перцептроном називається будь-яка система, що задовольняє наступні п'ять умов: в системі є лише один R-елемент (природно, він пов'язаний з усіма A-елементами); система являє собою перцептрон з послідовними зв'язками, що йдуть лише від S-елементів до A-елементів, та від A-елементів до R-елементів; ваги всіх зв'язків від S-елементів до A-елементів (S-A зв'язків) незмінні; час передачі кожного зв'язку дорівнює або нулю, або сталій величині ; всі функції активації S-, A-, R-елементів мають вигляд , де — алгебраїчна сума всіх сигналів, що надходять одночасно на вхід елемента Розенблатт Ф., с. 83. Елементарним перцептроном називається простий перцептрон, у котрого всі елементи — прості. У цьому випадку його функція активації має вигляд .Розенблатт Ф., с. 93. Додатково можна вказати на такі концепції, запропоновані в книзі, та пізніше розвинені в рамках теорії нейронних мереж: — це система, в якій існують зв'язки між елементами одного типу (S, A або R), що знаходяться на однаковій відстані від S-елементів, причому всі інші зв'язки — послідовного типу. — це система, в якій існує хоча б один зв'язок від логічно віддаленішого елемента до менш віддаленого. Згідно сучасної термінології такі мережі називаються рекурентними нейронними мережами. — це система, в якій знято обмеження на фіксованість зв'язків від S-елементів до A-елементів. Доведено, що шляхом оптимізації S-A зв'язків можна досягти значного поліпшення характеристик перцептрона.Розенблатт, Ф., с. 230.
Опис на основі предикатів
Марвін Мінський вивчав властивості паралельних обчислень, окремим випадком яких на той час був перцептрон. Для аналізу його властивостей йому довелося перекласти теорію перцептронів на мову предикатів. Суть підходу полягала в ось в чомуВикладення в цьому розділі спрощено з причини складності аналізу на основі предикатів.Минский, Пейперт, с. 11—18.: множині сигналів від S-елементів було поставлено у відповідність змінну X; кожному A-елементові поставлено у відповідність предикат φ(X) (фі від ікс), названий частинним предикатом; кожному R-елементові поставлено у відповідність предикат ψ (псі), що залежить від частинних предикатів; нарешті, перцептроном було названо пристрій, здатний обчислювати всі предикати типу ψ.