Zapaść modelu () – zjawisko opisywane w badaniach nad uczeniem maszynowym i generatywną sztuczną inteligencją, polegające na stopniowej degradacji modeli trenowanych na danych syntetycznych wytworzonych przez wcześniejsze modele. W takim procesie kolejne generacje modeli coraz słabiej odwzorowują pierwotny rozkład danych, zwłaszcza jego rzadkie i nietypowe elementy. Wyróżnia się wczesny etap zapaści, w którym zanikają informacje o „ogonach” rozkładu, oraz etap późniejszy, w którym generowany rozkład zaczyna wyraźnie odbiegać od pierwotnego i traci wariancję.

Zjawisko ma znaczenie dla rozwoju dużych modeli językowych i innych modeli generatywnych, ponieważ treści tworzone przez systemy sztucznej inteligencji mogą trafiać do zbiorów uczących ich następców. Nie oznacza to jednak, że każde wykorzystanie danych syntetycznych prowadzi do zapaści modelu – badania wskazują, że ryzyko zależy m.in. od udziału danych rzeczywistych, sposobu doboru danych oraz tego, czy dane z kolejnych generacji zastępują wcześniejsze zbiory, czy są z nimi akumulowane.

Charakterystyka Pojęcie model collapse zostało zdefiniowane przez (i współautorów) w pracy badawczej jako proces degeneracyjny obejmujący kolejne generacje wyuczonych modeli generatywnych, w którym dane generowane przez jedną generację „zanieczyszczają” zbiór treningowy następnej generacji. Model trenowany na takim zbiorze może stopniowo błędnie odwzorowywać rzeczywisty rozkład danych.

We wczesnej fazie zapaści model traci przede wszystkim informacje o rzadkich przypadkach, czyli o elementach znajdujących się w ogonach rozkładu. W późniejszej fazie rozkład generowany przez model może mieć niewielkie podobieństwo do rozkładu pierwotnego i charakteryzować się wyraźnie zmniejszoną zmiennością. W praktyce utrata ogonów rozkładu oznacza coraz słabsze odwzorowywanie zdarzeń o małym prawdopodobieństwie. W eksperymentach z modelami językowymi dane kolejnych generacji zawierały wiele powtarzających się fraz, a modele z czasem generowały sekwencje bardziej prawdopodobne w rozkładzie danych pierwotnych, równocześnie wprowadzając własne mało prawdopodobne sekwencje, traktowane przez autorów jako kumulujące się błędy.

Zjawisko odróżnia się od halucynacji modeli językowych, odnoszących się do generowania treści niezgodnych ze źródłem, niemożliwych do potwierdzenia na jego podstawie lub pozbawionych sensu. Model collapse dotyczy natomiast procesu treningowego i zmian zachodzących w kolejnych generacjach modeli. Nie jest też tożsame ze zjawiskiem mode collapse w modelach typu GAN, w którym generator wytwarza powtarzalne lub bardzo podobne próbki i nie odwzorowuje pełnej różnorodności rozkładu danych. mały|Wąż zjadający własny ogon jest używany jako obrazowa metafora zapaści modelu W omówieniach popularnonaukowych zapaść modelu bywa opisywana za pomocą metafory sztucznej inteligencji „zjadającej własny ogon”, ponieważ dane wytworzone przez modele mogą wracać do obiegu jako materiał treningowy dla kolejnych modeli. Inną używaną w tym kontekście analogią jest poszukiwanie „nieskażonych” danych, porównywane do wykorzystywania starej stali sprzed epoki prób jądrowych w urządzeniach wymagających niskiego poziomu promieniowania; w tym ujęciu odpowiednikiem „starej stali” byłyby zasoby internetowe sprzed masowego rozpowszechnienia treści generowanych przez sztuczną inteligencję.

Mechanizm Przyczyną zjawiska jest uczenie rekurencyjne, w którym dane wyprodukowane przez model stają się częścią zbioru danych dla jego następcy. W takim procesie błędy i uproszczenia z jednej generacji nie tylko są powielane, lecz mogą się kumulować. W pracy Shumailova wskazano trzy źródła błędów: skończoną liczbę próbek, ograniczoną ekspresyjność modelu (ograniczoną zdolność do odwzorowania złożonych zależności) oraz niedoskonałości procedury uczenia.

Błąd wynikający ze skończonej liczby próbek oznacza, że przy każdym ponownym próbkowaniu część informacji z pierwotnego rozkładu może zostać utracona. Najbardziej narażone są zdarzenia rzadkie, ponieważ mają mniejsze prawdopodobieństwo pojawienia się w zbiorze wygenerowanym przez model. Ograniczona ekspresyjność oznacza, że model może nie mieć wystarczającej zdolności do dokładnego opisania złożonego rozkładu. Niedoskonałości uczenia obejmują m.in. ograniczenia algorytmów optymalizacyjnych i funkcji celu.

W eksperymencie Shumailova z modelami językowymi badacze używali m.in. modelu OPT-125M dostrajanego na zbiorze WikiText-2. Kolejne generacje modeli trenowano na danych wygenerowanych przez generację poprzednią. Modele zachowywały część zdolności do wykonywania zadania, ale z czasem wzrastały błędy, a generowane próbki coraz bardziej odbiegały od danych pierwotnych.

Dane syntetyczne i pętle autofagiczne Ryzyko zapaści modelu wiąże się z rosnącą dostępnością danych syntetycznych, czyli danych generowanych przez systemy sztucznej inteligencji. Dane takie są atrakcyjne, ponieważ mogą być tanie, łatwo skalowalne i czasem mniej problematyczne pod względem prywatności niż dane rzeczywiste. Jednocześnie mogą nie oddawać pełnej różnorodności świata, zwłaszcza jeśli są tworzone przez modele, które same upraszczają rozkład danych.

W innym z opracowań naukowych opisano podobny problem jako „autofagiczną” lub „samokonsumującą się” pętlę uczenia. Autorzy badali modele generujące obrazy i wyróżnili kilka scenariuszy: trening wyłącznie na danych syntetycznych, trening na mieszaninie danych syntetycznych i stałego zbioru danych rzeczywistych oraz trening z dopływem świeżych danych rzeczywistych w kolejnych generacjach. Według wyników tego badania brak wystarczającej ilości nowych danych rzeczywistych prowadził do stopniowej utraty jakości, różnorodności albo obu tych cech.

Problem ten bywa określany także jako Model Autophagy Disorder (MAD). Analogicznie do „AI karmiącej się własnymi wynikami”, w polskojęzycznych omówieniach popularnonaukowych zwracano uwagę na ryzyko „zjadania własnego ogona” przez systemy sztucznej inteligencji oraz na potencjalną utratę danych marginalnych, rzadkich i nietypowych. W ujęciu statystycznym odpowiada to przede wszystkim utracie ogonów rozkładu, czyli tych obszarów, w których znajdują się obserwacje rzadkie, odstające lub słabo reprezentowane.

Znaczenie dla modeli językowych i kultury informacji W przypadku dużych modeli językowych problem jest szczególnie istotny, ponieważ modele są trenowane na dużych zbiorach tekstów pozyskiwanych z internetu. Wraz ze wzrostem ilości treści generowanych przez sztuczną inteligencję rośnie prawdopodobieństwo, że takie treści trafią do przyszłych zbiorów treningowych.

Utrata rzadkich elementów rozkładu może mieć konsekwencje wykraczające poza techniczną jakość modelu. Niskoprawdopodobne przypadki są ważne m.in. dla reprezentacji grup mniejszościowych, dla wykrywania rzadkich zdarzeń, schematów oraz dla zachowania różnorodności informacji. W badaniach nad przesunięciami rozkładów wywoływanymi przez modele wskazywano, że wyniki systemów uczących się mogą z czasem wpływać na środowisko danych, a następnie utrwalać własne błędy lub nierówności w kolejnych zbiorach treningowych.

Pokrewnym, szerszym zagadnieniem jest tzw. knowledge collapse, czyli możliwe zubożenie publicznego obiegu wiedzy wskutek masowego polegania na uśrednionych, łatwo dostępnych wynikach generowanych przez systemy sztucznej inteligencji. W takim ujęciu problem nie dotyczy wyłącznie technicznego treningu modeli, lecz także zachowań użytkowników i obiegu informacji w społeczeństwie.

Ograniczenia i sposoby przeciwdziałania Badania nad zjawiskiem model collapse nie prowadzą do jednoznacznego wniosku, że dane syntetyczne są zawsze szkodliwe. Część wyników dotyczy scenariusza, w którym kolejne generacje danych syntetycznych zastępują dane rzeczywiste. Inne prace wskazują, że akumulowanie danych syntetycznych obok danych rzeczywistych, zamiast całkowitego zastępowania danych pierwotnych, może ograniczać albo zapobiegać zapaści modelu.

W analizach statystycznych wskazywano, że trening wyłącznie na danych syntetycznych prowadzi do nieuniknionej degradacji, natomiast przy mieszaniu danych rzeczywistych i syntetycznych można wyznaczać warunki, w których zjawisko zapaści zostaje ograniczone. Późniejsze prace podkreślały, że skutki zależą od konkretnego przepływu danych: zastępowanie danych rzeczywistych syntetycznymi sprzyja zapaści, natomiast odpowiednio zarządzana akumulacja danych może stabilizować modele albo powodować jedynie wolniejszą degradację.

Za podstawowy warunek ograniczania ryzyka sugeruje się zachowanie dostępu do pierwotnych danych rzeczywistych oraz dalszego dopływu danych niewytworzonych przez modele. Wskazuje się też na potrzebę ustalania pochodzenia treści, choć śledzenie materiałów generowanych przez duże modele językowe w skali internetu pozostaje trudne. W badaniach nad rekurencyjnym uczeniem wykazano ponadto, że akumulowanie kolejnych danych syntetycznych obok pierwotnych danych rzeczywistych może zapobiegać zapaści w analizowanych scenariuszach, w przeciwieństwie do zastępowania danych rzeczywistych kolejnymi generacjami danych syntetycznych.

Przypisy

Kategoria:Generatywna sztuczna inteligencja Kategoria:Uczenie maszynowe