Historia Przed rokiem 2017 istniało kilka modeli językowych, które — jak na ówczesne możliwości — były uważane za duże. W latach 90. modele IBM pozwoliły na rozwinięcie się metod statystycznego modelowania języka. W 2001 roku model bazujący na -gramach został wytrenowany na 300 milionach słów. W latach dwutysięcznych, wraz z popularyzacją Internetu, rozpoczęto tworzenie zbiorów językowych o skali porównywalnej z Internetem, na bazie których podjęto próby uczenia statystycznych modeli językowych.
Po tym, jak sieci neuronowe stały się popularne w przetwarzaniu obrazów około 2012 roku, zaczęto je również stosować do przetwarzania tekstu. W 2016 roku Google wprowadziło w Tłumaczu Google swój model językowy oparty na głębokiej sieci LSTM.
mały|Wykres pokazujący łączną ilość obliczeń (we FLOP-sach) wymaganą do wytrenowania modelu w kolejnych latach dla wybranych dużych modeli AI. Większość dużych modeli to modele językowe lub mutlimodalne ze zdolnościami przetwarzania języka W 2017 roku naukowcy z Google zaproponowali architekturę transformera opartą na mechanizmie uwagi opracowanym w 2014 roku. W 2018 roku Google wypuściło model BERT oparty wyłącznie na koderach transformera.