1990. – Opracowano metodę fast weight controller . Wagi neuronów uzyskują szybkie połączenia dynamiczne, które są podobne do kluczy i wartości 2014 – Zaproponowało mechanizm uwagi w rekurencyjnych sieciach neuronowych aby usprawnić tłumaczenie długich zdań 2015 – Aplikacje mechanizmu uwagi w analizie obrazów 2017 – Zdefiniowanie mechanizmu transformera
Przykład działania Powiązanie różnych części zdania lub obrazu może pomóc w zrozumieniu jego struktury. Mechanizm uwagi daje sieci neuronowej możliwość osiągnięcia tego celu. Na przykład, gdy sieć przetwarza słowo „that” w zdaniu „See that girl run”, chcemy, aby rozpoznała, że odnosi się ono do słowa „girl”. Poniższy diagram pokazuje, w jaki sposób odpowiednio wytrenowana sieć może to osiągnąć.
centruj|mały|700x700px|Przykład mechanizmu samouwagi w uczeniu nienadzorowanym. W przedstawionym schemacie sekwencja wejściowa jest przetwarzana równolegle trzema ścieżkami (lewa strona), a następnie łączona w wektor kontekstu (prawa strona). Ten wektor może być wykorzystany w kolejnych warstwach sieci neuronowej do przewidywania następnego słowa lub realizacji innych zadań językowych. Dla uproszczenia notacji przyjęto rozmiar osadzania słów (embedding) równy 300 i liczbę neuronów w każdej podsieci głowy uwagi (ang. attention head) równą 100.