Ця сторінка — хронологія розвитку машинного навчання. До неї включено основні відкриття, досягнення, віхи та інші важливі події у машинному навчанні.

Огляд Десятиріччя Підсумки до 1950-х Відкрито та вдосконалено статистичні методи. 1950-ті Проводять піонерські дослідження машинного навчання з використанням простих алгоритмів. 1960-ті Запропоновано баєсові методи для ймовірнісного висновування в машинному навчанні. 1970-ті Песимізм щодо ефективності машинного навчання спричинив «зиму ШІ». 1980-ті Повторне відкриття зворотного поширення викликає пожвавлення досліджень машинного навчання. 1990-ті Робота над машинним навчанням переходить від підходу, керованого знаннями, до підходу, керованого даними. Науковці починають створювати програми для комп'ютерів, щоб аналізувати великі обсяги даних і робити висновки — або «навчатися» — з результатів.. Набувають популярності опорновекторні машини (ОВМ, ) та рекурентні нейронні мережі (РНМ, ). Започатковано галузі обчислювальної складності через нейронні мережі та надтюрінгові обчислення. 2000-ті Набувають широкого поширення опорновекторне кластерування та інші ядрові методи, а також методи машинного некерованого навчання. 2010-ті Стає здійсненним глибоке навчання, що призводить до того, що машинне навчання стає невід'ємною частиною багатьох широко використовуваних програмних служб і застосунків. Глибоке навчання стимулює величезний поступ у баченні та обробці тексту.2020-тіГенеративний ШІ призводить до революційних моделей, створюючи розмаїття , як власницьких, так і відкритих, зокрема, уможливлюючи такі продукти як ChatGPT (на основі тексту) та Stable Diffusion (на основі зображень). Машинне навчання та ШІ входять у широку громадську свідомість. Комерційний потенціал ШІ на основі машинного навчання призводить до значного зростання оцінок вартості компаній, пов'язаних з ШІ.

Хронологія

РікТип подіїЗаголовокПодія1763ВідкриттяПідвалини теореми БаєсаПрацю Томаса Баєса «» опубліковано через два роки після його смерті, виправлену та відредаговану другом Баєса, Річардом Прайсом. Це есе подає працю, яка лягла в основу теорами Баєса.1805ВідкриттяНайменші квадратиАдрієн-Марі Лежандр описує «méthode des moindres carrés», відомий українською як метод найменших квадратів. Його широко використовують у допасовуванні до даних.1812Теорема БаєсаП'єр-Симон Лаплас публікує «Théorie Analytique des Probabilités», у якій розширює працю Баєса та визначає те, що відоме тепер як теорема Баєса.1913ВідкриттяМарковські ланцюгиАндрій Марков уперше описує методики, які він використовував для аналізу віршів. Ці методики пізніше стали відомими як марковські ланцюги.1943ВідкриттяШтучний нейронВоррен Маккалох та розробляють математичну модель, що імітує функціювання біологічного нейрона, штучний нейрон, яку вважають першою винайденою нейронною моделлю.1950Тюрінгова самонавчальна машинаАлан Тюрінг пропонує «самонавчальну машину», що може навчатися та стати штучним інтелектом. Конкретна пропозиція Тюрінга провіщує генетичні алгоритми.1951Перша нейромережна машинаМарвін Мінскі та Дін Едмондс створюють першу здатну навчатися нейромережну машину, . та .1952Машини, що грають у шашкиАртур Семюель приєднується до лабораторії Poughkeepsie в IBM і починає працювати над деякими з найперших програмам машинного навчання, першими створюючи програми, які грають у шашки.1957ВідкриттяПерцептронФренк Розенблат, працюючи в , винаходить перцептрон. Винайдення перцептрона викликає великий ажіотаж, його широко висвітлюють у засобах масової інформації.1963ДосягненняМашини, що грають у хрестики-нулики створює «машину», складену з 304 сірникових коробок та намистин, що використовує навчання з підкріпленням грі в хрестики-нулики.1967Найближчий сусідБуло створено алгоритм найближчого сусіда, що є початком базового розпізнавання образів. Цей алгоритм використовували для прокладання маршрутів.1969Обмеження нейронних мережМарвін Мінскі та Сеймур Пейперт публікують свою книгу «», що описує деякі з обмежень перцептронів та нейронних мереж. Інтерпретацію, яку показує книга, що нейронні мережі фундаментально обмежені, розглядають як перепону для досліджень нейронних мереж.1970Автоматичне диференціювання (зворотне поширення) публікує загальний метод автоматичного диференціювання (АД, ) дискретних зв'язних мереж вкладених диференційовних функцій. Це відповідає сучасній версії зворотного поширення, але ще не має цієї назви.1979Стенфордський візокСтуденти у Стенфордському університеті розроблюють візок, що може пересуватися й уникати перешкод у кімнаті.1979ВідкриттяНеокогнітрон вперше публікує свою працю про неокогнітрон, один із типів штучних нейронних мереж (ШНМ, ). Неокогнітивність пізніше надихає згорткові нейронні мережі (ЗНМ, ).1981Навчання на основі поясненьДжеральд Деджонг пропонує навчання на основі пояснень (), в якому комп'ютерний алгоритм аналізує дані та створює загальне правило, якому він може слідувати, та відкидати неважливі дані.1982ВідкриттяРекурентна нейронна мережаДжон Гопфілд популяризує мережі Гопфілда, один із типів рекуретних нейронних мереж, що можуть слугувати системами пам'яті з адресуванням вмістом.1985 розробив програму, яка навчається вимовляти слова англійської мови так само, як це робить дитина.1986ЗастосуванняЗворотне поширенняЗворотний режим автоматичного диференціювання (вперше застосований до нейронних мереж ) використано в експериментах Девіда Румельхарта, Джефа Гінтона та Рональда Дж. Вільямса для навчання внутрішніх подань.1988Теорема про універсальне наближення (теорема Цибенка) доводить, що стандартні багатошарові мережі прямого поширення здатні наближувати будь-яку борелево вимірну функцію з одного скінченновимірного простору до іншого до будь-якого ступеню точності, за умови наявності достатньої кількості прихованих вузлів.1989ВідкриттяНавчання з підкріпленнямКрістофер Воткінс розробляє Q-навчання, яке значно покращує практичність та здійсненність навчання з підкріпленням.1989КомерціалізаціяКомерціалізація машинного навчання на персональних комп'ютерахAxcelis, Inc. випускає Evolver, перший програмний пакет для комерціалізації використання генетичних алгоритмів на персональних комп'ютерах.1992ДосягненняМашини, які грають у короткі нардиДжеральд Тезауро розрозбяє ЧР-нарди (), комп'ютерну програму для гри в короткі нарди, яка використовує штучну нейронну мережу, натреновану з використанням методу часових різниць (звідси «ЧР» у назві). ЧР-нарди здатні конкурувати, але не завжди перевершувати здібності найкращих серед людей гравців у короткі нарди.1995ВідкриттяАлгоритм випадкового лісуТін Кам Хо публікує працю, що описує випадкові ліси рішень.1995ВідкриттяОпорновекторні машиниКорінна Кортес та Володимир Вапник публікують свою працю про опорновекторні машини.1997ДосягненняIBM Deep Blue перемагає КаспароваDeep Blue від IBM перемагає чемпіона світу з шахів.1997ВідкриттяДКЧП () та Юрген Шмідхубер винаходять рекурентні нейронні мережі з довгою короткочасною пам'яттю (ДКЧП), що значно покращує ефективність та практичність рекурентних нейронних мереж.1998База даних MNISTКоманда під проводом Яна ЛеКуна випускає базу даних MNIST, набір даних, що складається з суміші рукописних цифр від працівників Бюро перепису населення та старшокласників США. База даних MNIST відтоді стала еталоном для оцінювання розпізнавання рукописного тексту.2002Бібліотека машинного навчання TorchПерший випуск Torch, бібліотеки програмного забезпечення машинного навчання. 2006Netflix PrizeNetflix запускає змагання . Мета змагання — за допомогою машинного навчання перевершити точність власного програмного забезпечення рекомендацій Netflix у передбачуванні оцінки фільму користувачем за наявних оцінок цим користувачем попередніх фільмів щонайменше на 10 %. Цю премію було виграно 2009 року.2009ДосягненняImageNetСтворено . Це велика база даних зображень, створена Фей-Фей Лі зі Стенфордського університету, яка усвідомила, що найкращі алгоритми машинного навчання не працюватимуть добре, якщо дані не відображатимуть реального світу. Для багатьох ImageNet стала каталізатором буму ШІ XXI сторіччя.2010Змагання KaggleЗапущено Kaggle, вебсайт, що слугує платформою для змагань з машинного навчання. 2011ДосягненняПеремога над людьми в JeopardyВикористовуючи поєднання машинного навчання, обробки природної мови та методик інформаційного пошуку, Watson від IBM перемагає двох чемпіонів серед людей у змаганні .2012ДосягненняРозпізнавання котів на YouTubeКоманда Google Brain під проводом Ендрю Ина та Джеффа Діна створює нейронну мережу, яка навчається розпізнавати котів, переглядаючи немічені зображення, взяті з кадрів відео YouTube.2012ВідкриттяВізуальне розпізнаванняСтаття та алгоритм AlexNet досягли проривних результатів у розпізнаванні зображень на еталоні ImageNet. Це сприяло популяризації глибоких нейронних мереж.2013ВідкриттяВкладання слівШироко цитована стаття, що отримала прізвисько word2vec, революціонізувала обробку тексту в машинному навчанні. Вона показала, як кожне слово можливо перетворити на послідовність чисел (вкладення слів), використання цих векторів революціонізувало обробку тексту в машинному навчанні.2014Стрибок у розпізнаванні обличДослідники з Facebook публікують свою працю щодо , системи, яка використовує нейронні мережі й ідентифікує обличчя з точністю 97,35 %. Ці результати є покращенням на понад 27 % відносно попередніх систем, і складають конкуренцію людській продуктивності.2014SibylДослідники з Google розкрили деталі своєї праці над Sibyl, власною платформою для масово паралельного машинного навчання, яку Google використовує всередині для передбачування поведінки користувачів та надавання рекомендацій.2016ДосягненняПеремога над людьми в ґоПрограма AlphaGo від Google стає першою програмою комп'ютерного ґо, яка перемогла фахового людського гравця без обмежень, використовуючи поєднання методик машинного навчання та пошуку деревами. Пізніше вдосконалена як , а 2017 року узагальнена на шахи та додаткові ігри для двох гравців як AlphaZero.2017ВідкриттяТрансформерКоманда Google Brain винайшла архітектуру трансформера, що уможливила швидше паралельне тренування нейронних мереж на послідовних даних, таких як текст.2018ДосягненняПередбачування структури білківУ грудні 2018 року AlphaFold 1 (2018) посіла перше місце в загальному рейтингу 13-го Критичного аналізу методів для структурних передбачень білків (КАСП).2021ДосягненняПередбачування структури білківAlphaFold 2 (2021), команда, яка використовувала AlphaFold 2 (2020), підтвердила це місце на змаганнях КАСП у листопаді 2020 року. Ця команда досягла набагато вищого рівня точності, ніж будь-яка інша група. Вона набрала понад 90 балів для приблизно двох третин з білків у випробуванні КАСП на глобальну відстань (), випробуванні, яка вимірює ступінь подібності передбаченої обчислювальною програмою структури до експериментально встановленої в лабораторії, де 100 це повний збіг, у межах граничної відстані, яку використовують для обчислення GDT.

Див. також Історія штучного інтелекту Хронологія розвитку штучного інтелекту

Примітки

Цитування

Цитовані праці