Эндрю Герет Барто () — американский учёный-информатик, почётный профессор информатики . Барто наиболее известен своим основополагающим вкладом в области современного вычислительного обучения с подкреплением. В 2025 году вместе с Ричардом Саттоном был удостоен премии Тьюринга.
Биография Эндрю Барто родился в 1948 или 1949 году. В 1970 году получил степень бакалавра с отличием по математике в Мичиганском университете, где первоначально специализировался на военно-морской архитектуре и инженерном деле. После прочтения работ Майкла Арбиба, Уоррена Стерджиса Маккаллоха и Уолтера Питтса заинтересовался использованием компьютеров и математики для моделирования работы мозга и через пять лет получил докторскую степень по информатике за диссертацию о клеточных автоматах.
В 1977 году Барто поступил на работу в Колледж информационных и компьютерных наук Массачусетского университета в Амхерсте в качестве постдокторского научного сотрудника, в 1982 году был повышен до доцента, а в 1991 году — до полного профессора. С 2007 по 2011 год был заведующим кафедрой и одним из основных преподавателей программы «Нейронаука и поведение».
Во время работы в университете Барто был одним из руководителей Лаборатории автономного обучения, которая породила несколько ключевых идей в области обучения с подкреплением. Ричард Саттон, с которым он стал соавтором влиятельной книги Reinforcement Learning: An Introduction, был его аспирантом.
Обучение с подкреплением Когда Барто начал работать в Массачусетском университете, он присоединился к группе исследователей, пытавшихся изучить поведение нейронов в человеческом мозге как основу человеческого интеллекта — концепцию, выдвинутую информатиком А. Гарри Клопфом. Вместе с Барто его докторант Саттон использовал математику для развития этой концепции и использования её в качестве основы для создания искусственного интеллекта. Эта концепция стала известна как обучение с подкреплением и стала ключевой частью методов создания искусственного интеллекта.
Барто и Саттон использовали марковские процессы принятия решений в качестве математической основы для объяснения того, как агенты (алгоритмические сущности) принимают решения, находясь в стохастической или случайной среде, получая вознаграждение по окончании каждого действия. Традиционная теория MDP предполагала, что агенты знают всю информацию о MDP, пытаясь максимизировать свое кумулятивное вознаграждение. Методы обучения с подкреплением Барто и Саттона допускали, что и среда, и вознаграждение неизвестны, что позволило применять алгоритмы этой категории для решения широкого круга задач.
Барто создал лабораторию для развития идей обучения с подкреплением, а Саттон вернулся в Канаду. Тема обучения с подкреплением продолжала развиваться в академических кругах, пока в одном из первых крупных реальных применений программа AlphaGo компании Google, построенная на этой концепции, не победила доминировавшего в то время чемпиона-человека. Барто и Саттон широко известны как пионеры современного обучения с подкреплением, а сама техника стала основой для современного бума ИИ.
Барто опубликовал более ста статей или глав в журналах, книгах, материалах конференций и семинаров. В соавторстве с Ричардом Саттоном он написал книгу Reinforcement Learning: An Introduction, и книгу Handbook of Learning and Approximate Dynamic Programming.
Награды Барто является членом Американской ассоциации содействия развитию науки, а также членом Американской ассоциации искусственного интеллекта и Общества нейронаук.
Барто был удостоен премии UMass Neurosciences Lifetime Achievement Award в 2019 году, премии IEEE Neural Network Society Pioneer Award в 2004 году.
В 2025 году получил премию Тьюринга от Ассоциации вычислительной техники вместе со своим бывшим докторантом Ричардом С. Саттоном за их работу по обучению с подкреплением; формулировка на вручении премии гласила: «За разработку концептуальных и алгоритмических основ обучения с подкреплением».
Примечания
Категория:Специалисты по искусственному интеллекту Категория:Учёные в области информатики США