Sykofancja w sztucznej inteligencji
Definicja „sykofancji SI”
Rozwój generatywnych modeli językowych spowodował pojawienie się pojęcia „sykofancja SI” (), odnoszącego się do tendencji systemów konwersacyjnych do zbyt daleko idącego dostosowywania się do przekonań użytkownika.
W tym kontekście sykofancja oznacza skłonność modelu do: potwierdzania założeń zaszytych w pytaniach użytkownika, nawet gdy są one fałszywe lub stronnicze, wzmacniania opinii, przekonań i emocji rozmówcy zamiast ich korygowania, stosowania przesadnie pochlebnego, afirmującego języka („jesteś genialny”, „masz całkowitą rację”) niezależnie od treści wypowiedzi.
Opisane zachowania są utożsamiane z dążeniem modelu do „zadowalania” użytkownika oraz unikania otwartej sprzeczności z jego stanowiskiem, nawet kosztem dokładności informacji i rzetelności merytorycznej.
Przyczyny zjawiska w modelach językowych
W analizach technicznych wskazuje się, że sykofancja w modelach językowych jest częściowo skutkiem sposobu ich trenowania, zwłaszcza etapów wykorzystujących preferencje ludzkie, takich jak Reinforcement Learning from Human Feedback (RLHF).