Un model lingvistic mare (LLM, din ) este un model de inteligență artificială (de regulă, o rețea neuronală) antrenat pe o cantitate foarte mare de text pentru sarcini de prelucrare a limbajului natural, în special pentru generarea limbajului natural. În mod obișnuit, LLM-urile pot genera, rezuma, traduce și analiza texte în numeroase contexte și reprezintă una dintre tehnologiile fundamentale ale chatboturilor moderne. Datele de antrenare părtinitoare sau inexacte pot reduce fiabilitatea rezultatelor unui LLM.

LLM-urile se bazează, de regulă, pe arhitectura de tip transformator. Transformatoarele generative preantrenate (GPT) sunt un tip de LLM preantrenat să prezică următorul cuvânt. Ulterior, GPT-urile sunt adesea supuse unei ajustări fine pentru a urma instrucțiuni și a se comporta ca asistenți.

Evaluările de tip benchmark ale LLM-urilor încearcă să măsoare capacitatea de raționament a modelului, corectitudinea factuală, alinierea și siguranța.

Istoric miniatura|Numărul publicațiilor despre modelele lingvistice mari, pe ani, grupate după tipul publicației

miniatura|Volumul de calcul utilizat pentru antrenarea unor modele mari notabile, exprimat în FLOP, în raport cu data publicării, în perioada 2010–2024. Sunt prezentate toate modelele notabile (stânga sus), modelele de frontieră (dreapta sus), principalele modele lingvistice (stânga jos) și principalele modele ale companiilor de vârf (dreapta jos). Majoritatea sunt modele lingvistice. miniatura|Volumul de calcul utilizat pentru antrenarea unor modele mari de inteligență artificială notabile, exprimat în FLOP, în raport cu data publicării, în perioada 2017–2024. Majoritatea modelelor mari sunt modele lingvistice sau modele multimodale care dispun de capacități lingvistice. Înainte de apariția modelelor bazate pe transformatoare în 2017, unele modele lingvistice erau considerate mari în raport cu limitările de calcul și de date ale epocii. La începutul anilor 1990, IBM a deschis calea, prin modelele sale statistice, tehnicilor de aliniere a cuvintelor pentru traducerea automată, punând bazele modelării lingvistice bazate pe corpusuri. În 2001, un model cu n-grame netezit, de exemplu unul care utiliza netezirea Kneser–Ney, antrenat pe 300 de milioane de cuvinte, a obținut rezultate de vârf la testele de perplexitate. În anii 2000, odată cu răspândirea accesului la internet, cercetătorii au început să compileze de pe web seturi masive de date textuale („webul ca corpus”) pentru antrenarea modelelor lingvistice statistice.

Depășind modelele cu n-grame, cercetătorii au început, din 2000, să utilizeze rețele neuronale drept modele lingvistice. După progresul decisiv al rețelelor neuronale profunde în clasificarea imaginilor în jurul anului 2012, arhitecturi similare au fost adaptate pentru sarcini lingvistice. Această schimbare a fost marcată de dezvoltarea reprezentărilor vectoriale ale cuvintelor (de exemplu, Word2Vec, creat de Mikolov în 2013) și a modelelor secvență-la-secvență (seq2seq) bazate pe LSTM. În 2016, Google și-a migrat serviciul de traducere la traducere automată neuronală (NMT), înlocuind modelele statistice bazate pe sintagme cu rețele neuronale recurente profunde. Aceste prime sisteme NMT utilizau arhitecturi codificator–decodificator bazate pe LSTM, deoarece precedau inventarea transformatoarelor. miniatura|upright=1.3|Ilustrare a principalelor componente ale modelului transformator din lucrarea originală, în care straturile erau normalizate după — și nu înainte de — atenția cu mai multe capete La conferința NeurIPS din 2017, cercetători de la Google au prezentat arhitectura transformator în lucrarea lor de referință „Attention Is All You Need”. Obiectivul lucrării era îmbunătățirea tehnologiei seq2seq din 2014, iar aceasta se baza în principal pe mecanismul de atenție dezvoltat de Bahdanau și colaboratorii în 2014. În anul următor, 2018, a fost introdus BERT, care a devenit rapid „omniprezent”. Deși transformatorul original conține atât blocuri de codificator, cât și blocuri de decodificator, BERT este un model exclusiv cu codificator. Utilizarea BERT în mediul academic și în cercetare a început să scadă în 2023, în urma îmbunătățirii rapide a capacității modelelor exclusiv cu decodificator (precum GPT) de a rezolva sarcini prin prompturi.

Deși modelul exclusiv cu decodificator GPT-1 a fost introdus în 2018, GPT-2 a atras atenția pe scară largă în 2019, deoarece OpenAI a susținut că, inițial, îl considerase prea puternic pentru a fi publicat, de teama utilizării răuvoitoare. GPT-3 a mers mai departe în 2020 și, , este disponibil numai printr-un API, fără posibilitatea descărcării și executării locale a modelului. Totuși, chatbotul destinat publicului larg ChatGPT, lansat la sfârșitul anului 2022, a beneficiat în 2023 de o amplă acoperire mediatică și de atenția publicului. GPT-4, lansat în 2023, a fost apreciat pentru acuratețea sporită și descris drept un „Sfânt Graal” datorită capacităților sale multimodale. OpenAI nu a dezvăluit arhitectura de nivel înalt și nici numărul de parametri ai GPT-4. Lansarea ChatGPT a determinat o creștere a utilizării LLM-urilor în mai multe subdomenii de cercetare ale informaticii, inclusiv robotica, ingineria software și studiile privind impactul societal. În 2024, OpenAI a lansat modelul de raționament OpenAI o1, care generează lanțuri de raționament îndelungate înainte de a furniza răspunsul final. Au fost dezvoltate numeroase LLM-uri cu un număr de parametri comparabil cu cel al modelelor din seria GPT a OpenAI.

Din 2022, modelele cu ponderi disponibile public au câștigat popularitate, inițial mai ales prin BLOOM și LLaMA, deși ambele impun restricții asupra utilizării și implementării. Modelele cu ponderi deschise Mistral 7B și Mixtral 8x7B ale Mistral AI au o licență Apache mai permisivă. În ianuarie 2025, DeepSeek a lansat DeepSeek R1, un model cu ponderi deschise și 671 de miliarde de parametri, care obține performanțe comparabile cu OpenAI o1, dar la un preț per token mult mai mic pentru utilizatori.

Din 2023, numeroase LLM-uri au fost antrenate pentru a fi multimodale, având capacitatea de a prelucra sau genera și alte tipuri de date, precum imagini, sunet ori rețele poligonale tridimensionale.

LLM-urile cu ponderi deschise au devenit mai influente din 2023. Potrivit lui Vake și colaboratorilor (2025), contribuțiile comunității la modelele cu ponderi deschise le îmbunătățesc eficiența și performanța prin intermediul unor platforme colaborative precum Hugging Face.

Preprocesarea seturilor de date

Tokenizare Deoarece algoritmii de învățare automată prelucrează numere, nu text, textul trebuie convertit în numere. În prima etapă se stabilește un vocabular, apoi fiecărei intrări din vocabular i se atribuie arbitrar, dar în mod unic, un indice întreg, iar în cele din urmă indicelui îi este asociată o reprezentare vectorială (embedding). Printre algoritmii utilizați se numără codificarea perechilor de octeți (BPE) și WordPiece. Există și tokenuri speciale care funcționează drept caractere de control, precum [MASK] pentru un token mascat (utilizat în BERT) și [UNK] („necunoscut”) pentru caracterele care nu apar în vocabular. Unele simboluri speciale indică și o formatare specială a textului. De exemplu, „Ġ” indică un spațiu anterior în RoBERTa și GPT, iar „##” indică faptul că tokenul continuă cuvântul precedent în BERT.

De exemplu, tokenizatorul BPE utilizat de versiunea anterioară a GPT-3 ar segmenta șirul tokenizer: texts -> series of numerical "tokens" astfel: token izer : texts ->series  of numerical  " tokens"

Tokenizarea contribuie și la comprimarea seturilor de date. Deoarece LLM-urile necesită, de regulă, ca datele de intrare să fie reprezentate printr-un tablou care nu este neregulat, textele mai scurte trebuie completate cu tokenuri de umplere (operație denumită padding) până când ating lungimea celui mai lung text.

Codificarea perechilor de octeți

Ca exemplu, se poate lua în considerare un tokenizator bazat pe codificarea perechilor de octeți. În prima etapă, toate caracterele distincte (inclusiv spațiile și semnele de punctuație) sunt tratate drept un set inițial de n-grame (adică un set inițial de unigrame). Apoi, perechea cea mai frecventă de caractere alăturate este îmbinată într-o bigramă, iar toate aparițiile perechii sunt înlocuite cu aceasta. Perechile adiacente de n-grame (îmbinate anterior) care apar cel mai frecvent împreună sunt apoi îmbinate din nou în n-grame din ce în ce mai lungi, până când se obține un vocabular de dimensiunea stabilită. După antrenarea tokenizatorului, acesta poate tokeniza orice text, cu condiția ca textul să nu conțină caractere absente din setul inițial de unigrame.

Curățarea seturilor de date

În contextul antrenării LLM-urilor, seturile de date sunt, de regulă, curățate prin eliminarea datelor de calitate scăzută, duplicate sau toxice. Seturile de date curățate pot spori eficiența antrenării și pot îmbunătăți performanța în sarcinile ulterioare. Un LLM deja antrenat poate fi utilizat pentru curățarea seturilor de date destinate antrenării unui alt LLM.

Pe măsură ce proporția conținutului generat de LLM-uri pe web crește, curățarea viitoare a datelor ar putea include filtrarea unui asemenea conținut. Conținutul generat de LLM-uri poate deveni problematic atunci când seamănă cu textul uman — ceea ce îngreunează filtrarea — dar este de calitate inferioară, degradând performanța modelelor antrenate pe acesta.

Date sintetice

Antrenarea celor mai mari modele lingvistice ar putea necesita mai multe date lingvistice decât sunt disponibile în mod natural sau datele existente în mod natural ar putea avea o calitate insuficientă. În aceste situații pot fi utilizate date sintetice.

Antrenare

Un LLM este un tip de model fundamental (denumit generic și „model X de mari dimensiuni”) antrenat pe limbaj. LLM-urile pot fi antrenate în moduri diferite. În special, modelele GPT sunt mai întâi preantrenate să prezică următorul cuvânt pe baza unei cantități mari de date, după care sunt supuse ajustării fine.

Cost miniatura|dreapta|upright=1.5 Antrenarea celor mai mari modele necesită o infrastructură considerabilă. Tendința către modele din ce în ce mai mari este vizibilă în lista modelelor lingvistice mari. De exemplu, antrenarea GPT-2 (un model cu 1,5 miliarde de parametri) a costat 50.000 de dolari în 2019, în timp ce antrenarea PaLM (un model cu 540 de miliarde de parametri) a costat 8 milioane de dolari în 2022, iar Megatron-Turing NLG 530B a costat aproximativ 11 milioane de dolari în 2021. Calificativul „mare” din sintagma „model lingvistic mare” este inerent vag, deoarece nu există un prag definitiv al numărului de parametri necesar pentru ca un model să fie considerat „mare”.

Ajustare fină Înainte de ajustarea fină, majoritatea LLM-urilor sunt modele de predicție a tokenului următor. Ajustarea fină modelează comportamentul LLM-ului prin tehnici precum învățarea prin întărire din feedback uman (RLHF) sau inteligența artificială constituțională.

Ajustarea fină pe instrucțiuni este o formă de învățare supervizată utilizată pentru a învăța LLM-urile să urmeze instrucțiunile utilizatorilor. În 2022, OpenAI a prezentat InstructGPT, o versiune a GPT-3 ajustată fin în mod similar pentru a urma instrucțiuni.

RLHF presupune antrenarea unui model de recompensă care să prezică ce text preferă oamenii. LLM-ul poate fi apoi ajustat fin prin învățare prin întărire pentru a satisface mai bine acest model de recompensă.

Arhitectură LLM-urile se bazează în general pe arhitectura transformator, care utilizează un mecanism de atenție ce permite modelului să prelucreze simultan relațiile dintre toate elementele unei secvențe, indiferent de distanța dintre ele. Peng și colaboratorii (2023) au propus drept alternativă modele de reprezentare în spațiul stărilor.

Mecanismul de atenție și fereastra de context