У машинному навчанні навчання з підкріпленням на основі людського зворотного зв'язку (НПЛЗЗ) () — це підхід, що використовується для орієнтації інтелектуального агента на людські уподобання. Цей метод передбачає навчання моделі винагороди, яка відображає ці уподобання та використовується для подальшого навчання інших моделей у навчанні з підкріпленням.

У класичному навчанні з підкріпленням мета інтелектуального агента полягає у вивченні функції, що визначає його поведінку, яку називають стратегією. Вона поступово оновлюється, щоб максимізувати винагороду залежно від результатів виконання задачі агентом. Однак точно визначити функцію винагороди, яка б адекватно відображала людські уподобання, досить складно. Тому НПЛЗЗ прагне навчити модель винагороди безпосередньо на основі людського зворотного зв'язку. Спочатку модель винагороди навчається у режимі з учителем, щоб передбачати, чи є відповідь на певний запит якісною (висока винагорода) чи ні (низька винагорода), на основі даних ранжування, які людьми. Потім ця модель використовується як функція винагороди для вдосконалення стратегії агента за допомогою алгоритмів оптимізації, зокрема .

НПЛЗЗ застосовується у різних напрямах машинного навчання, зокрема в обробці природної мови — таких як автоматизоване реферування та розмовні агенти, у комп'ютерному зорі — наприклад, у моделях зображення за текстом, а також у створенні ботів для відеоігор. Хоч НПЛЗЗ є ефективним способом навчання моделей, щоб вони краще відповідали людським уподобанням, цей підхід має обмеження, пов'язані зі збором даних про людські переваги. Отримання якісних і достовірних уподобань є дорогим і трудомістким процесом, навіть якщо обсяг даних невеликий. Якщо ж дані зібрано неакуратно або з нерепрезентативної вибірки, модель може виявляти небажані упередження.

НПЛЗЗ не був першим успішним підходом використання людського зворотного зв'язку для навчання з підкріпленням, але став одним із найпоширеніших. Його основи були закладені як спроба створити універсальний алгоритм навчання, який потребує лише обмеженої кількості людського зворотного зв'язку. Сучасний варіант було представлено компанією OpenAI у дослідженні, присвяченому покращенню генерації тексту та її узагальненню на основі людського зворотного зв'язку. Метод набув популярності після застосування цього ж підходу у статті про GPT-3. НПЛЗЗ також продемонстрував покращення агентів навчання з підкріпленням та їхньої здатності до дослідження, що робить процес оптимізації ефективнішим у роботі з невизначеністю та допомагає краще орієнтуватися у середовищі для пошуку максимальної винагороди.

Збір людського зворотного зв'язку

Людський зворотний зв'язок зазвичай збирають, пропонуючи людям оцінювати або впорядковувати приклади поведінки агента. Такі оцінки потім використовують для порівняння результатів, наприклад, через систему рейтингу Ело, яка визначає відносний рівень якості рішень, базуючись лише на результатах порівнянь. Хоча ранжування є найпоширенішою формою зворотного зв'язку, останні дослідження розглядають і інші підходи — наприклад, числову оцінку, коментарі природною мовою або можливість безпосереднього редагування відповіді моделі.

Однією з переваг НПЛЗЗ є те, що для досягнення ефективності потрібно відносно мало даних для порівняння. Було показано, що навіть невелика кількість прикладів може давати результати, співмірні з більшими наборами. Крім того, збільшення обсягу даних часто менш ефективне, ніж пропорційне збільшення розміру моделі винагороди. Втім, більший і різноманітніший набір даних важливий для задач, де потрібно уникнути упереджень через частково нерепрезентативну групу анотаторів.

Під час навчання з людським зворотним зв'язком через у межах (або , якщо варіантів більше двох) було показано, що оцінка максимальної правдоподібності (ОМП) для лінійних функцій винагороди збігається, якщо дані порівнянь отримані з правильно визначеної лінійної моделі. Це означає, що за певних умов, якщо модель навчається визначати, які варіанти люди віддають перевагу між парами (або групами) виборів, вона поступово підвищуватиме точність передбачення майбутніх уподобань. Таке покращення спостерігається, коли порівняння, на яких вона навчається, ґрунтуються на узгодженому та зрозумілому правилі.

І офлайн-моделі збору даних, де модель навчається на статичному наборі даних і оновлює стратегію пакетно, і онлайн-моделі, де модель безпосередньо працює з динамічним середовищем і оновлює стратегію одразу, були математично описані. Це дозволило визначити межі складності вибірки для НПЛЗЗ у різних схемах зворотного зв'язку.

В офлайн-моделі, коли метою є навчання стратегії, найефективнішою виявилась песимістична ОМП, яка використовує нижню межу довірчого інтервалу як оцінку винагороди. Крім того, показано, що безпосередній розгляд K-порівнянь є порівняно з перетворенням їх у парні порівняння.

В онлайн-сценарії, коли людський зворотний зв'язок збирається через парні порівняння за моделлю Бредлі — Террі — Люса і метою є мінімізація смутку алгоритму (тобто різниці між його результатами й оптимальним агентом), показано, що оптимістична ОМП, яка враховує верхню межу довірчого інтервалу як оцінку винагороди, може бути використана для створення зразково ефективних алгоритмів, тобто таких, що потребують менших обсягів навчальних даних. Ключова складність НПЛЗЗ під час навчання на основі парних (або змагальних) порівнянь полягає у немарковській природі оптимальних стратегій. На відміну від простіших випадків, де оптимальна стратегія не потребує пам'яті про попередні дії, у НПЛЗЗ найкраща стратегія часто залежить від попередніх рішень, тобто від історії процесу.

Застосування

НПЛЗЗ застосовується в різних галузях обробки природної мови (NLP), зокрема в розмовних агентах, автоматичному узагальненні та задачах розуміння тексту. Звичайне навчання з підкріпленням, у якому агент навчається на основі власних дій за заздалегідь визначеною «функцією винагороди», складно застосувати до NLP, адже такі винагороди важко формалізувати або виміряти, особливо коли йдеться про задачі, що охоплюють людські цінності та уподобання. НПЛЗЗ дозволяє орієнтувати NLP-моделі, зокрема мовні моделі, на створення відповідей, що узгоджуються з людськими уподобаннями, заздалегідь відобразивши ці уподобання в моделі винагороди. У результаті отримується система, здатна формувати доречні відповіді й відхиляти небажані або шкідливі запити.

Серед найвідоміших прикладів мовних моделей, навчених за допомогою НПЛЗЗ, — OpenAI ChatGPT (чатбот) (і його попередник InstructGPT, від DeepMind, Gemini (модель Google) від Google та Claude (модель Anthropic) від Anthropic.

У сфері комп'ютерного зору НПЛЗЗ також використовувався для орієнтації моделей зображення за текстом. Дослідження, у яких успішно застосовували НПЛЗЗ, показали, що додавання регуляризації KL у процес навчання — тобто обмеження відхилення нової стратегії від початкової — допомагає стабілізувати навчання та зменшує перенавчання моделі винагороди. Фінальні зображення, отримані з моделей, що використовували регуляризацію KL, демонстрували вищу якість порівняно з тими, де цей метод не застосовувався. Інші підходи намагалися враховувати людський зворотний зв'язок безпосередньо — шляхом максимізації винагороди без використання навчання з підкріпленням — але було встановлено, що НПЛЗЗ забезпечує кращі результати завдяки онлайн-генерації вибірок під час оновлень і регуляризації KL, що запобігає перенавчанню моделі винагороди.

НПЛЗЗ спочатку використовувався в інших сферах, зокрема у створенні відеоігрових ботів і задачах у . Компанії OpenAI та DeepMind навчали агентів грати в ігри Atari на основі людських оцінок. У класичному підкріпленому навчанні функція винагороди зазвичай відображає, наскільки добре агент виконує завдання, наприклад, через показники, як-от внутрішньоігровий У НПЛЗЗ людині періодично показують два відеофрагменти гри, і вона обирає, який із них «виглядає» кращим. Такий підхід дає змогу навчати агентів досягати високих результатів навіть без доступу до числового рахунку. Дослідження показали, що НПЛЗЗ іноді забезпечує кращі результати, ніж класичне навчання з фіксованими метриками, оскільки людські уподобання містять гнучкішу та змістовнішу інформацію, ніж прості показники ефективності. Агенти, навчені цим методом, досягли високих результатів у багатьох середовищах, іноді навіть перевершуючи людей.

Стратегія

Як і модель винагороди, стратегія, що навчається на людському зворотному зв'язку, ініціалізується з попередньо натренованої моделі.

Основна ідея полягає в тому, щоб розглядати генерацію тексту як гру, яку потрібно опанувати за допомогою навчання з підкріпленням. У цьому контексті стратегія — це функція, що зіставляє стан середовища з дією. У НПЛЗЗ «гра» — це процес формування відповіді на запит: запит є станом, а відповідь — дією. Хоча це одноходова гра, її все одно можна формально описати як задачу навчання з підкріпленням і застосовувати до неї відповідні алгоритми.

Першим етапом є контрольоване донавчання (SFT), яке не потребує моделі винагороди. На цьому етапі попередньо натреновану модель донавчають на наборі даних , що містить пари «запит — відповідь» . Під час SFT модель навчається авторегресійно формувати відповідь у відповідь на випадковий запит . Оригінальна робота рекомендує виконувати лише одну епоху SFT, щоб уникнути перенавчання. Зазвичай набір створюється людськими анотаторами, які формулюють як запити, так і відповіді.

Другий етап застосовує , який взаємодіє з моделлю винагороди. Він використовує набір даних , що містить лише запити. Як і більшість методів градієнта стратегії, алгоритм має зовнішній цикл і два внутрішні:

Ініціалізувати стратегію як  — модель після SFT. Повторювати кілька ітерацій: Створити новий порожній набір даних . Для кожного кроку: Вибрати випадковий запит із . Згенерувати відповідь за допомогою стратегії . Обчислити винагороду за моделлю . Додати потрійку до . Оновити параметри методом градієнта стратегії, максимізуючи цільову функцію:

де означає  — тобто вибір запиту з і генерацію відповіді з поточної стратегії.

Цільова функція складається з двох частин. Перша — очікувана винагорода , стандартна для алгоритмів навчання з підкріпленням. Друга — «штрафний термін», що містить дивергенцію Кульбака — Лейблера, контрольовану гіперпараметром .

Термін KL накладає обмеження на надто велике відхилення нової стратегії від початкової, що дозволяє збалансувати навчання на нових даних і збереження корисних знань із попередньої моделі. Завдяки цьому стратегія краще узагальнює та не надмірно підлаштовується під конкретні приклади. Крім того, KL-термін стимулює модель формувати тексти з більшою ентропією, запобігаючи , коли модель починає повторювати обмежену кількість шаблонних відповідей.

Простіше кажучи, цільова функція вимірює, наскільки добре відповіді стратегії узгоджуються з людським зворотним зв'язком. Модель оцінюється за тим, наскільки її відповіді відповідають людським уподобанням (через модель винагороди) і наскільки вони залишаються близькими до стилю початкової моделі. Мета — знайти баланс між покращенням відповідності людським очікуванням і збереженням різноманітності відповідей, уникаючи надмірного спрощення чи повторів.

Проксимальна оптимізація стратегії

Функція стратегії зазвичай навчається за допомогою алгоритму (PPO). Інакше кажучи, параметри оновлюються шляхом градієнтного «підйому» на обрізаній сурогатній функції.

Класичний алгоритм PPO використовує узагальнену оцінку переваги, що передбачає наявність додаткового «оцінювача цінності» . Він оновлюється одночасно зі стратегією під час навчання PPO: . Оцінювач цінності використовується лише на етапі навчання.

PPO виконує градієнтний спуск на так званій «обрізаній сурогатній перевазі»:

де термін переваги визначається як . Інакше кажучи, перевага — це різниця між реальною винагородою та очікуваним результатом за поточною стратегією.