Od 2023 roku akademickie i badawcze zainteresowanie BERT-em zaczęło stopniowo maleć na rzecz modeli opartych na dekoderach transformera jak GPT.
Od 2022 roku zyskują na popularności modele o otwartym kodzie źródłowym – początkowo za sprawą projektów takich jak BLOOM i Llama, choć oba objęte są ograniczeniami dotyczącymi zakresu zastosowań. Modele Mistral AI udostępnione zostały na bardziej liberalnej licencji Apache.
Od 2023 roku wiele modeli ma charakter multimodalny, co oznacza, że potrafią analizować i generować różne typy danych, takie jak tekst, obrazy czy dźwięk.
W 2024 roku OpenAI wydało model rozumujący OpenAI o1, który generował długie łańcuchy myśli przed zwróceniem ostatecznej odpowiedzi. W styczniu 2025 roku firma DeepSeek wypuściła w formie otwartego kodu model DeepSeek R1, mający 671 miliardów parametrów. Jego wydajność jest porównywalna z modelem OpenAI o1, przy znacznie niższych kosztach eksploatacji.
W roku 2024 największe i najbardziej zaawansowane modele językowe oparte są na architekturze transformera.