Безпека штучного інтелекту — це міждисциплінарна галузь, що вивчає запобігання аваріям, зловживанням та іншим шкідливим наслідкам, які можуть спричинити системи штучного інтелекту (ШІ). Вона охоплює машинну етику та проблему узгодження ШІ з людськими цілями й цінностями (AI alignment), а також технічні питання надійності, моніторингу ризиків і керованості моделей. Окрім технічних підходів, ця галузь включає розробку норм і політик, які мають зменшувати ризики від ШІ.
Мотивації Дослідники штучного інтелекту мають дуже різні думки щодо серйозності та основних джерел ризику, пов'язаного з технологією штучного інтелекту, хоча опитування свідчать про те, що експерти серйозно ставляться до високих ризиків наслідків. У двох опитуваннях дослідників штучного інтелекту середній респондент був оптимістично налаштований щодо штучного інтелекту в цілому, але поставив 5 % ймовірність «надзвичайно поганого (наприклад, вимирання людини)» результату передового штучного інтелекту. У 2022 році в опитуванні спільноти обробки природної мови (NLP) 37% погодилися або радше погодилися з тим, що рішення штучного інтелекту можуть призвести до катастрофи, «щонайменше такої ж поганої, як повна ядерна війна». Науковці обговорюють поточні ризики від збоїв критичних систем, упередженості та стеження за допомогою ШІ; нові ризики, пов'язані з технологічним безробіттям, цифровими маніпуляціями та використанням зброї; та спекулятивні ризики від втрати контролю над майбутніми агентами штучного загального інтелекту (AGI).
Деякі критикували занепокоєння щодо AGI, наприклад Ендрю Нґ, який у 2015 році порівняв їх із «занепокоєнням про перенаселення Марса, коли ми ще навіть не ступили на планету». З іншого боку, Стюарт Дж. Рассел закликає бути обережними, стверджуючи, що «людську винахідливість краще передбачити, ніж недооцінювати».
Тло Ризики штучного інтелекту почали серйозно обговорювати на початку комп'ютерної ери:
З 2008 по 2009 рік Асоціація розвитку штучного інтелекту (AAAI) замовила дослідження, щоб вивчити й розглянути потенційний довгостроковий суспільний вплив досліджень і розробок ШІ. Комісія загалом скептично поставилася до радикальних поглядів, висловлених авторами наукової фантастики, але погодилася, що «додаткове дослідження було б цінним щодо методів розуміння та перевірки діапазону поведінки складних обчислювальних систем для мінімізації неочікуваних результатів».
У 2011 році Роман Ямпольський ввів термін «техніка безпеки штучного інтелекту» на конференції з філософії та теорії штучного інтелекту, перерахувавши попередні збої систем штучного інтелекту та стверджуючи, що «частота та серйозність таких подій невпинно зростатиме, оскільки ШІ стає більш здібним».
У 2014 році філософ Нік Бостром опублікував книгу «Суперінтелект: шляхи, небезпеки, стратегії». Він вважає, що зростання AGI потенційно може створити різні суспільні проблеми, починаючи від витіснення робочої сили штучним інтелектом, маніпуляцій політичними та військовими структурами, навіть до можливості вимирання людства. Його аргумент про те, що майбутні передові системи можуть становити загрозу існуванню людства, спонукав Ілона Маска, Білла Гейтса і Стівена Гокінга висловили подібні занепокоєння.
У 2015 році десятки експертів зі штучного інтелекту підписали відкритий лист щодо штучного інтелекту, у якому закликали до дослідження впливу штучного інтелекту на суспільство та окреслили конкретні напрямки. На сьогоднішній день лист підписали понад 8000 людей, включаючи Янна Лекуна, Шейна Легга, Йошуа Бенгіо та Стюарта Рассела.
У тому ж році група вчених під керівництвом професора Стюарта Рассела заснувала Центр сумісного з людиною штучного інтелекту в Каліфорнійському університеті Берклі, а Інститут майбутнього життя виділив гранти в розмірі 6,5 мільйонів доларів на дослідження, спрямовані на «гарантування того, щоб штучий інтелект (ШІ) залишався безпечним, етичним і корисним".
У 2016 році Управління наукової та технологічної політики Білого дому та Університет Карнегі-Меллона оголосили Громадський семінар з безпеки та контролю за штучним інтелектом, який був одним із чотирьох семінарів Білого дому, спрямованих на дослідження «переваг і недоліків» ШІ. У тому ж році було опубліковано Concrete Problems in AI Safety — один із перших і найвпливовіших технічних планів безпеки AI.
У 2017 році Інститут майбутнього життя спонсорував Asilomar Conference on Beneficial AI, де понад 100 лідерів думок сформулювали принципи для корисного AI, зокрема «Уникнення перегонів: команди, які розробляють системи AI, повинні активно співпрацювати, щоб уникнути порушення стандартів безпеки».
У 2018 році команда DeepMind Safety окреслила проблеми безпеки штучного інтелекту в специфікаціях, надійності та гарантування надійності. Наступного року дослідники організували в ICLR семінар, присвячений цим проблемним сферам.
У 2021 році було опубліковано Unsolved Problems in ML Safety, в якому окреслено напрями досліджень у сфері надійності, моніторингу, узгодження та системної безпеки.
У 2023 році Ріші Сунак заявив, що хоче, щоб Сполучене Королівство стало «географічним домом для глобального регулювання безпеки штучного інтелекту» та прийняло перший глобальний саміт з безпеки ШІ.
Фокус дослідження Сфери досліджень безпеки ШІ включають надійність, моніторинг і вирівнювання.
Міцність
Змагальна міцність Системи штучного інтелекту часто вразливі до змагальних прикладів або «вхідних даних до моделей машинного навчання (ML), які зловмисник навмисно створив, щоб змусити модель зробити помилку». Наприклад, у 2013 році Szegedy et al. виявив, що додавання певних непомітних збурень до зображення може призвести до його неправильної класифікації з високою достовірністю. Це продовжує залишатися проблемою для нейронних мереж, хоча в останніх роботах збурення, як правило, досить великі, щоб їх можна було відчути.
Передбачається, що всі зображення праворуч будуть страусами після застосування пертурбації. (Ліворуч) — правильно передбачений зразок, (у центрі) застосоване збурення, збільшене в 10 разів, (праворуч) змагальний приклад.
Стійкість змагання часто асоціюється з безпекою. Дослідники продемонстрували, що аудіосигнал можна непомітно модифікувати, щоб системи перетворення мови в текст транскрибували його в будь-яке повідомлення, яке вибере зловмисник. Системи виявлення мережевих вторгнень і зловмисного програмного забезпечення також повинні бути стійкими до змагань, оскільки зловмисники можуть планувати свої атаки, щоб обдурити детектори.
Моделі, які представляють цілі (моделі винагороди), також повинні бути стійкими до змагальності. Наприклад, модель винагороди може оцінити, наскільки корисною є текстова відповідь, а мовну модель можна навчити, щоб максимізувати цей бал. Дослідники показали, що якщо мовну модель тренувати достатньо довго, вона використовуватиме вразливі місця моделі винагороди, щоб отримати кращий результат і гірше виконувати заплановане завдання. Цю проблему можна вирішити, покращивши конкурентоспроможність моделі винагороди. Загалом, будь-яка система ШІ, яка використовується для оцінки іншої системи ШІ, має бути стійкою до змагань. Це може включати інструменти моніторингу, оскільки вони також потенційно можуть бути підроблені для отримання більшої винагороди.
Моніторинг
Оцінка невизначеності Для людей-операторів часто важливо оцінити, наскільки вони повинні довіряти системі штучного інтелекту, особливо в таких серйозних ситуаціях, як медична діагностика. Моделі ML зазвичай виражають впевненість шляхом виведення ймовірностей; однак вони часто надто самовпевнені, особливо в ситуаціях, які відрізняються від тих, з якими їх навчили вирішувати. Дослідження калібрування спрямоване на те, щоб імовірності моделі якомога точніше відповідали справжньому співвідношенню правильності моделі.
Подібним чином виявлення аномалій або виявлення нерозповсюдження (OOD) має на меті визначити, коли система ШІ знаходиться в незвичній ситуації. Наприклад, якщо датчик на автономному транспортному засобі несправний або він натрапляє на складну місцевість, він повинен попередити водія про необхідність взяти керування або зупинитися. Виявлення аномалій було реалізовано шляхом простого навчання класифікатора розрізняти аномальні та неаномальні вхідні дані, хоча використовується низка додаткових методів.
Виявлення шкідливого використання Вчені та державні установи висловлюють занепокоєння, що системи штучного інтелекту можуть використовуватися, щоб допомогти зловмисникам створювати зброю, маніпулювати громадською думкою або автоматизувати кібератаки. Ці занепокоєння викликають практичне занепокоєння для таких компаній, як OpenAI, які розміщують потужні інструменти штучного інтелекту онлайн. Щоб запобігти зловживанням, OpenAI створив системи виявлення, які позначають або обмежують користувачів на основі їх активності.
Прозорість Нейронні мережі часто описують як чорні ящики, що означає, що важко зрозуміти, чому вони приймають рішення, які вони приймають, у результаті величезної кількості обчислень, які вони виконують. Через це складно передбачити невдачі. У 2018 році безпілотний автомобіль збив на смерть пішохода, не впізнавши його. Через природу програмного забезпечення штучного інтелекту як чорного ящика причина збою залишається незрозумілою.
Однією з найважливіших переваг прозорості є можливість пояснення. Іноді юридична вимога надати пояснення, чому було прийнято рішення, щоб забезпечити справедливість, наприклад, для автоматичного фільтрування заявок на прийом на роботу або визначення кредитного рейтингу.
Ще одна перевага полягає в тому, щоб виявити причину невдач. На початку пандемії COVID-19 2020 року дослідники використовували інструменти прозорості, щоб показати, що класифікатори медичних зображень «звертали увагу» на нерелевантні мітки лікарень.
Методи прозорості також можна використовувати для виправлення помилок. Наприклад, у статті «Розташування та редагування фактичних асоціацій у GPT» автори змогли визначити параметри моделі, які вплинули на те, як вона відповідає на запитання про розташування Ейфелевої вежі. Потім вони змогли «відредагувати» ці знання, щоб змусити модель відповідати на запитання так, ніби вона вважала, що вежа знаходиться в Римі, а не у Франції. Хоча в цьому випадку автори викликали помилку, ці методи потенційно можуть бути використані для ефективного їх виправлення. Техніка редагування моделі також існує в комп'ютерному зорі.
Нарешті, деякі стверджують, що непрозорість систем штучного інтелекту є значним джерелом ризику, і краще розуміння того, як вони функціонують, може запобігти серйозним збоям у майбутньому. Дослідження «внутрішньої» інтерпретації спрямовані на те, щоб зробити моделі машинного навчання менш непрозорими. Однією з цілей цього дослідження є визначення того, що представляють активації внутрішніх нейронів. Наприклад, дослідники ідентифікували нейрон у системі штучного інтелекту CLIP, який реагує на зображення людей у костюмах людини-павука, ескізи людини-павука та слово «павук». Це також передбачає пояснення зв'язків між цими нейронами або «ланцюгами». Наприклад, дослідники виявили механізми зіставлення шаблонів у трансформаторній увазі, які можуть відігравати роль у тому, як мовні моделі вивчають свій контекст. «Внутрішню інтерпретативність» порівнюють із нейронаукою. В обох випадках мета полягає в тому, щоб зрозуміти, що відбувається в складній системі, хоча дослідники ML мають перевагу в тому, що вони можуть проводити ідеальні вимірювання та виконувати довільні абляції.
Виявлення троянів