Maskowane modelowanie języka (ang. masked language modeling, MLM) – metoda wstępnego uczenia modeli językowych, polegająca na ukrywaniu części tokenów w tekście wejściowym i uczeniu modelu odtwarzania ich na podstawie pozostałego kontekstu. W przeciwieństwie do modelowania autoregresyjnego metoda ta pozwala wykorzystywać zarówno lewy, jak i prawy kontekst tokenu, dlatego jest stosowana głównie w modelach opartych na architekturze transformera.
Zasada działania W klasycznym wariancie zastosowanym w modelu BERT losowo wybiera się 15% tokenów, które model ma przewidzieć. Z tej puli 80% zastępuje się tokenem [MASK], 10% losowym tokenem, a 10% pozostawia bez zmian. Model uczy się następnie przewidywać oryginalne tokeny w wybranych pozycjach. Nie wszystkie wybrane tokeny są więc zastępowane przez [MASK], co zmniejsza różnicę między etapem wstępnego uczenia a późniejszym dostrajaniem, ponieważ podczas dostrajania token ten zwykle nie występuje w danych wejściowych.
Zastosowania Modele trenowane z użyciem maskowanego modelowania języka są wykorzystywane przede wszystkim w zadaniach wymagających rozumienia tekstu, takich jak klasyfikacja, rozpoznawanie nazw własnych, odpowiadanie na pytania oraz wnioskowanie na podstawie tekstu. Podejście to jest wykorzystywane głównie w modelach służących do tworzenia kontekstowych reprezentacji tokenów.
Rozwinięcia Podejście to było rozwijane w kolejnych modelach. RoBERTa zachowuje cel maskowanego modelowania języka (MLM), ale wprowadza zmiany w procedurze uczenia wstępnego względem modelu BERT. Z kolei SpanBERT rozszerza maskowanie na całe fragmenty sekwencji zamiast pojedynczych tokenów.
Zobacz też BERT (model językowy) Model językowy Transformer (sztuczna inteligencja)
Przypisy
Kategoria:Przetwarzanie języka naturalnego