În învățarea automată, învățarea prin întărire din feedback uman (RLHF) este o tehnică de aliniere a unui agent inteligent la preferințele umane. Aceasta presupune antrenarea unui model de recompensă care să reprezinte preferințele și care poate fi apoi utilizat pentru antrenarea altor modele prin învățare prin întărire.
În învățarea prin întărire clasică, obiectivul unui agent inteligent este de a învăța o funcție care îi ghidează comportamentul, numită politică. Funcția este optimizată iterativ pentru a crește semnalul de recompensă obținut din performanța agentului în îndeplinirea sarcinii. Totuși, definirea explicită a unei funcții de recompensă care să aproximeze cu exactitate preferințele umane este dificilă. Prin urmare, RLHF urmărește să antreneze un „model de recompensă” direct din feedback uman. Modelul de recompensă este mai întâi antrenat în mod supervizat pentru a prezice dacă un răspuns la un anumit prompt este bun (recompensă mare) sau rău (recompensă mică), pe baza datelor de ierarhizare colectate de la adnotatori umani. Modelul servește apoi drept funcție de recompensă pentru îmbunătățirea politicii unui agent printr-un algoritm de optimizare, precum optimizarea proximală a politicii.
RLHF are aplicații în diferite domenii ale învățării automate, inclusiv în sarcini de procesare a limbajului natural, precum rezumarea textelor și agenții conversaționali, în sarcini de vedere computațională, precum alinierea modelelor text-imagine, precum și în dezvoltarea de boți pentru jocuri video. Deși RLHF este o metodă eficientă de antrenare a modelelor pentru a acționa mai bine în conformitate cu preferințele umane, aceasta se confruntă și cu dificultăți legate de modul în care sunt colectate datele despre preferințele umane. Chiar dacă RLHF nu necesită cantități masive de date pentru îmbunătățirea performanței, obținerea unor date de înaltă calitate privind preferințele rămâne un proces costisitor. În plus, dacă datele nu sunt colectate cu atenție dintr-un eșantion reprezentativ, modelul rezultat poate manifesta părtiniri nedorite.
Context și motivație Optimizarea unui model pe baza feedbackului uman este dezirabilă atunci când o sarcină este dificil de specificat, dar ușor de evaluat. De exemplu, se poate urmări antrenarea unui model care să genereze texte sigure, utile și inofensive (de pildă, fără părtinire, toxicitate sau alt conținut dăunător). Ar fi dificil și cronofag să li se solicite oamenilor să creeze manual exemple de texte inofensive și dăunătoare. Oamenii sunt însă capabili să evalueze și să compare rapid caracterul dăunător al diferitelor texte generate de inteligența artificială. Prin urmare, un obiectiv mai practic ar fi ca modelului să i se permită să utilizeze acest tip de feedback uman pentru a-și îmbunătăți generarea de text.
În pofida avantajelor clare ale includerii feedbackului uman în antrenarea modelelor, încercările anterioare — inclusiv unele care utilizează învățare prin întărire (RL) — s-au confruntat cu dificultăți semnificative. Majoritatea încercărilor fie aveau un domeniu restrâns și erau dificil de generalizat, eșuând în cazul sarcinilor mai complexe, fie întâmpinau dificultăți în învățarea din semnale de recompensă rare (care oferă puține informații specifice și se referă simultan la volume mari de text) sau zgomotoase (care recompensează în mod inconsecvent rezultate similare).
RLHF nu a fost prima metodă reușită de utilizare a feedbackului uman în învățarea prin întărire, dar este una dintre cele mai răspândite. Fundamentele RLHF au fost introduse în cadrul unei încercări de a crea un algoritm general capabil să învețe dintr-o cantitate practică de feedback uman. Algoritmul în forma utilizată astăzi a fost introdus de OpenAI într-o lucrare privind îmbunătățirea continuării sau rezumării textelor pe baza feedbackului uman și a început să câștige popularitate atunci când aceeași metodă a fost reutilizată în lucrarea despre . S-a demonstrat, de asemenea, că RLHF îmbunătățește robustețea agenților RL și capacitatea acestora de explorare, ceea ce conduce la un proces de optimizare mai apt să gestioneze incertitudinea și să exploreze eficient mediul în căutarea celei mai mari recompense.
Colectarea feedbackului uman
Feedbackul uman este colectat de regulă solicitându-le oamenilor să ierarhizeze exemple ale comportamentului agentului. Aceste ierarhizări pot fi apoi utilizate pentru a acorda scoruri rezultatelor, de exemplu prin sistemul de rating Elo, un algoritm care calculează nivelurile relative de abilitate ale jucătorilor dintr-un joc folosind exclusiv rezultatul fiecărei partide. Deși ierarhizarea ieșirilor este forma de feedback adoptată cel mai frecvent, cercetări recente au explorat și alte forme, precum feedbackul numeric, feedbackul în limbaj natural și solicitarea de modificări directe ale ieșirii modelului.
Una dintre motivațiile inițiale ale RLHF a fost faptul că necesită cantități relativ mici de date comparative pentru a fi eficientă. S-a demonstrat că o cantitate mică de date poate conduce la rezultate comparabile cu cele obținute cu o cantitate mai mare. În plus, creșterea cantității de date tinde să fie mai puțin eficientă decât creșterea proporțională a dimensiunii modelului de recompensă. Cu toate acestea, o cantitate mai mare și mai diversă de date poate fi esențială pentru sarcinile în care este importantă evitarea părtinirii provenit de la un grup de adnotatori doar parțial reprezentativ.
În învățarea din feedback uman prin comparații în perechi conform modelului (sau modelului Plackett–Luce pentru comparații între K variante, atunci când sunt comparate mai mult de două opțiuni), s-a demonstrat că estimatorul de verosimilitate maximă (MLE) pentru funcțiile de recompensă liniare converge dacă datele comparative sunt generate conform unui model liniar bine specificat. Aceasta înseamnă că, în anumite condiții, dacă un model este antrenat să decidă ce opțiuni ar prefera oamenii dintre perechi (sau grupuri) de opțiuni, acesta își va îmbunătăți în mod necesar capacitatea de a prezice preferințele viitoare. Această îmbunătățire este de așteptat atât timp cât comparațiile din care învață se bazează pe o regulă consecventă și simplă.
Atât modelele de colectare offline a datelor, în care modelul învață interacționând cu un set de date static și își actualizează politica în loturi, cât și modelele de colectare online a datelor, în care modelul interacționează direct cu mediul dinamic și își actualizează imediat politica, au fost studiate matematic, fiind demonstrate limite ale complexității eșantionului pentru RLHF în cadrul unor modele diferite de feedback.
În modelul de colectare offline a datelor, atunci când obiectivul este antrenarea politicii, cea mai eficientă este o estimare MLE pesimistă, care încorporează o limită de încredere inferioară drept estimare a recompensei. În plus, atunci când este aplicabil, s-a demonstrat că luarea în considerare directă a comparațiilor între K variante este asimptotic mai eficientă decât transformarea acestora în comparații în perechi în scopuri predictive.
În scenariul online, atunci când feedbackul uman este colectat prin comparații în perechi conform modelului Bradley–Terry–Luce, iar obiectivul este minimizarea regretului algoritmului (diferența de performanță față de un agent optim), s-a demonstrat că un MLE optimist, care încorporează o limită de încredere superioară drept estimare a recompensei, poate fi utilizat pentru proiectarea unor algoritmi eficienți din punctul de vedere al numărului de eșantioane (adică necesită relativ puține date de antrenare). O dificultate esențială în RLHF, atunci când învățarea se bazează pe comparații în perechi (sau dueluri), este legată de natura nemarkoviană a politicilor sale optime. Spre deosebire de scenariile mai simple, în care strategia optimă nu necesită memorarea acțiunilor anterioare, în RLHF cea mai bună acțiune depinde adesea de evenimente și decizii anterioare, ceea ce face ca strategia să fie în mod inerent dependentă de memorie.
Aplicații
RLHF a fost aplicată în diferite domenii ale procesării limbajului natural (NLP), precum agenții conversaționali, rezumarea textelor și înțelegerea limbajului natural. Învățarea prin întărire obișnuită, în care agenții învață din propriile acțiuni pe baza unei „funcții de recompensă” predefinite, este dificil de aplicat sarcinilor NLP, deoarece recompensele sunt în general dificil de definit sau măsurat, în special în cazul sarcinilor complexe care implică valori sau preferințe umane. RLHF poate orienta modelele NLP, în special modelele lingvistice, astfel încât să ofere răspunsuri aliniate preferințelor umane pentru asemenea sarcini, prin captarea în prealabil a preferințelor în modelul de recompensă. Rezultă astfel un model capabil să genereze răspunsuri mai relevante și să respingă solicitările nepotrivite sau irelevante. Printre exemplele notabile de modele lingvistice antrenate prin RLHF se numără ChatGPT al OpenAI (și predecesorul său, ), al DeepMind, Gemini al Google și Claude al Anthropic.
În vederea computațională, RLHF a fost utilizată și pentru alinierea modelelor text-imagine. Studiile care au utilizat cu succes RLHF în acest scop au constatat că folosirea regularizării KL în RLHF, menită să împiedice politica învățată să se îndepărteze prea mult de modelul nealiniat, a contribuit la stabilizarea procesului de antrenare prin reducerea supraadaptării la modelul de recompensă. S-a observat că imaginile finale produse de modelele antrenate cu regularizare KL aveau o calitate semnificativ mai ridicată decât cele produse de modelele antrenate fără aceasta. Alte metode au încercat să integreze feedbackul printr-o antrenare mai directă — bazată pe maximizarea recompensei fără utilizarea învățării prin întărire —, dar au admis că o abordare bazată pe RLHF ar avea probabil performanțe mai bune datorită generării online a eșantioanelor utilizate în RLHF în timpul actualizărilor, precum și regularizării KL menționate anterior față de modelul anterior, care atenuează supraadaptarea la funcția de recompensă.
RLHF a fost aplicată inițial și în alte domenii, precum dezvoltarea de boți pentru jocuri video și sarcini de robotică simulată. De exemplu, OpenAI și DeepMind au antrenat agenți să joace jocuri Atari pe baza preferințelor umane. În antrenarea clasică bazată pe RL a unor asemenea boți, funcția de recompensă este corelată pur și simplu cu performanța agentului în joc, de regulă utilizând indicatori precum scorul din joc. Prin comparație, în RLHF unei persoane îi sunt prezentate periodic două secvențe video ale comportamentului agentului în joc, iar aceasta trebuie să decidă care dintre ele „arată” mai bine. Abordarea poate învăța agenții să atingă un nivel competitiv fără ca aceștia să aibă vreodată acces la propriul scor. De fapt, s-a demonstrat că RLHF poate conduce uneori la performanțe superioare învățării prin întărire bazate pe indicatori de scor, deoarece preferințele umane pot conține informații mai utile decât indicatorii bazați pe performanță. Agenții au obținut performanțe ridicate în multe dintre mediile testate, depășind adesea performanțele umane.
Antrenare În RLHF sunt antrenate două modele diferite: un model de recompensă și o politică de învățare prin întărire. Modelul de recompensă învață să determine ce comportament este dezirabil pe baza feedbackului uman, iar politica este ghidată de modelul de recompensă pentru a stabili acțiunile agentului. Ambele modele sunt inițializate de regulă utilizând un model lingvistic autoregresiv preantrenat. Modelul este apoi antrenat, în mod obișnuit, prin învățare supervizată pe un set de date relativ mic, format din perechi de prompturi adresate unui asistent și răspunsurile aferente, redactate de adnotatori umani.
Modelul de recompensă Modelul de recompensă este o funcție care primește drept intrare un șir de caractere (un fragment de text) și produce un singur număr, reprezentând „recompensa”.