Samouwaga Mechanizm samouwagi (ang. self-attention) jest uproszczoną wersją standardowego mechanizmu z tą różnicą, że macierze są tą samą wartością. Kodery i dekodery transformera mogą używać mechanizmu samouwagi z pewnymi zastrzeżeniami.
Samouwaga kodera W przypadku kodera, można skorzystać ze zwykłej metody osadzania słów, dzięki czemu uzyskujemy tablicowanie zdania, przez konwersję zdania do ciągu wektorów:
Co można zapisać prościej:
Ten proces można wykonać kilkukrotnie aby uzyskać wielowarstwowy mechanizm uwagi, co jest związane z możliwością łączeń każdego wektora z każdym.
Samouwaga dekodera mały|Ilustracja pokazująca mechanizm samouwagi i mechanizm causal masking Przez to, że w poprzednim przypadku każdy wektor łączy się z każdym innym wektorem, nie można metody opisanej powyżej użyć w dekoderze, ponieważ to by oznaczało czytanie z przyszłości. Aby zaadresować ten problem, macierz wag maskuje się macierzą górnotrójkątną (ang. causal masking):
Przypisy
Linki zewnętrzne
Attention and Augmented Recurrent Neural Networks, Distill (2016) Speech and Language Processing, (2022) Attention and Memory in Deep Learning, DeepMind, UCL (2020)