- Macierz wejściowa osadzonych słów oznaczona jako X ma rozmiar 4 × 300.
- Wektor x reprezentuje osadzenie słowa „that”.
- Głowa uwagi składa się z trzech trenowanych sieci neuronowych. Każda z nich zawiera 100 neuronów i wykorzystuje macierz wag o wymiarach 300 × 100. - [*] Skalowanie softmaxu przez zapobiega dużej zmienności w , która mogłaby sprawić, że jedno słowo nadmiernie zdominuje wynik, co skutkowałoby skupieniem uwagi wyłącznie na jednym słowie — tak jak miałoby to miejsce w przypadku dyskretnego maksimum (hard max).- Uwaga dotycząca zapisu: Na schemacie przyjęto powszechnie stosowane założenie, że wektory są wierszami, co stoi w sprzeczności ze standardową notacją matematyczną, w której wektory są kolumnami. Poprawnym matematycznie podejściem byłoby zatem dokonanie transpozycji wektora kontekstowego i zastosowanie softmaxu kolumnowego, co prowadzi do zgodnej z konwencją formy wzoru: . Struktura danych wejściowych jest zakodowana w macierzach wag Qw i Kw, natomiast macierz wag Vw reprezentuje tę strukturę w postaci cech istotnych dla danego zadania.