Ponadto architektura zawiera połączenia rezydualne i warstwy normalizujące.
Koder mały|Jeden blok kodera Zasadę działania kodera można przedstawić za pomocą funkcji z , gdzie:
Jak widać powyżej, funkcje softmax i ReLU są używane do obliczeń.
Dekoder mały|Jeden blok dekodera Podczas inferencji, dekoder może być użyty do autoregresywnego generowania sekwencji. Dekoder jako wejście dostaje wartość startową sekwencji po czym przekazuje kolejny najbardziej prawdopodobny token, który jest przekazany do kolejnego dekodera.
Każdy dekoder składa się z trzech części:
Warstwa samouwagi z maską (Masked Multi-Head Attention) Wartswa samouwagi z koderem (Multi-Head Attention with encoder) Warstwa sieci jednokierunkowej
Adaptacje architektury Duże modele językowe nie używane do pierwotnego zastosowania jakim jest tłumaczenie tekstu, które nie muszą przewidywać całych zdań korzystają tylko z kodera lub dekodera z oryginalnej architektury transformera.