Wczesne modele GPT korzystają tylko z modeli bazujących na dekoderach wytrenowane aby przewidywać kolejny token w sekwencji, a model BERT od Google wykorzystuje tylko warstwę koderów wytrenowaną aby przewidywać losowy zamaskowany token w sekwencji.

Dalsze usprawnienia Dostępne implementacje Model transformera został zaimplementowany w standardowych bibliotekach do głębokiego uczenia jak TensorFlow i PyTorch. Hugging Face udostępnia bibliotekę Transformers z architekturami transformerów i modelami wstępnie wytrenowanymi.

Uwaga wielozapytaniowa mały|Porównanie różnych mechanizmów uwagi wraz z ilością wymaganej pamięci podręcznej dla wartości KV Uwaga wielozapytaniowa (ang. Multi-Query Attention) zmienia standardową uwagę wieloczłonową, to znaczy:

jest zastąpiona przez tylko jedna macierz wag