Ричард Саттон () — канадский учёный-информатик. Является профессором вычислительной техники в Университете Альберты и научным сотрудником компании Keen Technologies. Саттон считается одним из основателей современного обучения с подкреплением.
Биография Ричард Саттон родился в 1957 или 1958 году в Огайо, вырос в Оук-Брук, штат Иллинойс.
В 1978 году Саттон получил степень бакалавра психологии в Стэнфордском университете, затем — степень магистра (1980) и доктора (1984) информатики в под руководством Эндрю Барто.
На него повлияли работы Гарри Клопфа 1970-х годов. Клопф предположил, что для создания ИИ и объяснения разумного поведения одного лишь обучения с учителем недостаточно — необходимо обучение методом проб и ошибок, обусловленное «гедонистическими аспектами поведения». Благодаря этому Саттон сосредоточился на обучении с подкреплением.
В 1984 году Саттон стал постдокторантом Массачусетского университета. С 1985 по 1994 год он был главным техническим сотрудником в лаборатории компьютерных и интеллектуальных систем компании GTE в Уолтеме, штат Массачусетс. После этого провёл три года в Массачусетском университете в Амхерсте в качестве старшего научного сотрудника. С 1998 по 2002 год Саттон работал в лаборатории AT&T Shannon в Флорхам-Парке, штат Нью-Джерси, в качестве главного технического сотрудника в отделе по разработке искусственного интеллекта.
С 2003 года является профессором вычислительной техники в Университете Альберты. До 2018 года возглавлял лабораторию обучения с подкреплением и искусственного интеллекта. Сохранив профессорскую должность, Саттон в июне 2017 года присоединился к компании DeepMind в качестве учёного-исследователя и соучредителя её офиса в Эдмонтоне.
В 2015 году Саттон стал гражданином Канады.
Обучение с подкреплением В начале 1980-х в Университете Массачусетса Саттон совместно с Эндрю Барто начал изучать поведение нейронов в мозге человека как основу для интеллекта, развивая концепцию, предложенную информатиком А. Гарри Клопфом. Эта концепция стала известна как обучение с подкреплением и явилась ключевой частью методов создания искусственного интеллекта.
Барто и Саттон использовали марковские процессы принятия решений (MDP) в качестве математической основы для объяснения того, как агенты (алгоритмические сущности) принимают решения в стохастической или случайной среде, получая вознаграждение по окончании каждого действия. Традиционная теория MDP предполагала, что агенты знают всю информацию о среде, пытаясь максимизировать своё совокупное вознаграждение. Методы обучения с подкреплением Барто и Саттона допускали, что и среда, и вознаграждение неизвестны, что позволило применять алгоритмы этой категории для решения широкого круга задач.
В 2000-х годах Саттон вернулся в Канаду и продолжил работу над темой, которая в то время развивалась преимущественно в академических кругах. Одним из первых крупных практических применений стала программа AlphaGo компании Google, построенная на этой концепции и победившая чемпиона по го. Барто и Саттон широко признаны пионерами современного обучения с подкреплением, а сам метод лёг в основу современного бума ИИ.
В эссе 2019 года Саттон раскритиковал область исследований ИИ за то, что её представители «не смогли усвоить горький урок: построение [систем] на основе того, как мы думаем, в долгосрочной перспективе не работает». Он утверждал, что «70 лет исследований ИИ показали, что общие методы, использующие вычисления, в конечном итоге наиболее эффективны, и с большим отрывом», превосходя подходы, основанные на знаниях человека о конкретных областях, таких как компьютерное зрение, распознавание речи, шахматы или го.
В 2023 году Саттон и Джон Кармак объявили о партнёрстве для разработки AGI.
Награды Саттон является членом Ассоциации по развитию искусственного интеллекта (AAAI) с 2001 года.
В 2003 году получил премию президента Международного общества нейронных сетей, а в 2013 году — премию за выдающиеся достижения в исследованиях от Массачусетского университета в Амхерсте.
В 2016 году Саттон был избран членом Королевское общество Канады. В 2021 году был избран членом Лондонское королевское общество.
В 2025 году вместе с Эндрю Барто получил премию Тьюринга от Ассоциация вычислительной техники «за разработку концептуальных и алгоритмических основ обучения с подкреплением».
Примечания
Литература
Ссылки
Категория:Персоналии по алфавиту Категория:Учёные по алфавиту Категория:Специалисты по искусственному интеллекту Категория:Учёные в области информатики Канады Категория:Члены Лондонского королевского общества Категория:Выпускники Стэнфордского университета Категория:Лауреаты премии Тьюринга Категория:Родившиеся в Огайо