Veľký jazykový model (angl. large language model – skrátene LLM) je počítačový model jazyka založený na neurónovej sieti s mnohými parametrami (typicky miliardami váh alebo viac), trénovaný na veľkom množstve textu pomocou samoučenia (self-supervised learning), čiastočného učenia s učiteľom alebo spätnoväzbového učenia. Táto technológia sa radí k umelej inteligencii.
Opakom veľkého jazykového modelu je malý jazykový model (SLM) s jednotkami až desiatkami miliárd parametrov (napríklad Fara od MSFT). Existujú aj tiny recursive models (TRM), ktoré boli predstavené v druhej polovici roka 2025 spoločnosťou Samsung.
V polovici roka 2025 prišiel americký MIT s technológiou Self-Adapting LLMs (SEAL), rámcom, ktorý umožňuje veľkým jazykovým modelom, aby sa samy učili a zlepšovaly tým, že si vytvárajú vlastné trénovacie dáta a inštrukcie pre vlastné aktualizácie.
História Veľké jazykové modely sa objavili okolo roku 2018 a používajú se ako základné modely pre širokú škálu úloh. To posunulo ťažisko výskumu spracovania prirodzeného jazyka od predchádzajúcej paradigmy vytvárania špecializovaných modelov založených na učení s učiteľom pre konkrétne úlohy.
Multimodálnosť Jazykové modely začali byť v roku 2023 multimodálne, teda zvládali prijímať rôznorodé vstupy (tzv. prompty) a okrem textov tvoriť aj obrázky.
Dokážu tvoriť aj audio či video (Sora, Wan2.2 či Vidi2). Oproti ľuďom však naďalej zaostávajú. Na jeseň 2025 bol predstavený Marble od World Labs, ktorý tvorí 3D obrazy a videá z textového promptu. Google predstavil v marci 2026 Gemini 2 Embedding či Zhenzan od HiDream.
Schopnosti uvažovania V druhej polovici roka 2024 začali modely získavať schopnosť uvažovania nad zadaným kontextom, tzv. reasoning. Táto schopnosť presahuje jednoduché generovanie textu a zahŕňa pokročilé úlohy, ako je logické uvažovanie, riešenie viacúrovňových problémov, reťazec uvažovania (chain of thought) alebo dedukcia na základe poskytnutých dát. Medzi takéto modely patria napríklad o1, o3 či MetaMathQA.
Zoznam LLM Ox Alpha Americké GPT-x v rôznych verziách od OpenAI gpt-oss rodina modelov, ktoré sú tzv. open-weights (120 a 20 miliárd parametrov, tie sú dostupné na stiahnutie a lokálne použitie) Gemini (predtým Bard) od Googlu predchodcom bol PaLM taktiež od Googlu výskumný model NotebookLM taktiež od Googlu Gemma od Googlu (odľahčené modely tvorené obdobne ako Gemini) MedGemma od Googlu zameraný na medicínu Claude s submodelmi Opus a Sonnet od Anthropicu Llama od Meta Muse Sparkhttps://ai.meta.com/blog/introducing-muse-spark-msl/ Muse Glimmerhttps://developer.meta.com/ai/models/muse-glimmer/ Copilot (predtým BingChat) od Microsoftu založený na ChatGPT MAI-DxO, vlastný AI reasoning model zameraný na medicínu Phi (malý jazykový model) Fara MAI-1-preview od Microsoftu PPLX Online od Perplexity Grok od X (resp. od xAI) Sonus AI od Rubiks AI (v roku 2024 mali model Nova) Sky od NovaSky (Kalifornská univerzita) Command A od Cohere Nova od Amazonu Cogito od DeepCogito SWE-1 od Windsurfu Solar od Upstage Orchestrator od Nvidie Nemotron 3 Trinity od Arcee LFM (Liquid Foundational Models) od Liquid Smaug od Abacusu CLaRa od Applu
Modely založené na iných LLM Hermes od Nous-Hermes (Llama a DeepSeek)
Vývoj ukončený
Watson od IBM, ktorý v auguste 2023 implementoval Llama 2
Ázijské Ernie od Baidu Exaone od LG Pangu od Huawei Qwen a multimodálny R1-Omni od Alibaba Manus (softvér) – autonómny AI agent od firmy Monica, založený na LLM od Baidu a Claude, od marca spolupracujúci s Qwen Kimi od MoonshotAI Yi od 01.AI DeepSeek od DeepSeeku Doubao od ByteDanceu Hailuo AI od MiniMaxu Hy (predtým Hunyuan) od Tencent HY TinySwallow od Sakana AI M1 od MiniMax GLM od Z.ai Ling, Ring a Ming od InclusionAI MiMo od Xiaomi Meituan LongCat Step od StepFunu AntLing od InclusionAI Baichuan od Baichuan Intelligent Technology IQuest Coder od IQuest Labu MiniCPM od OpenBMB Nanbeige od BOSS Zhipinu OpenCoder od Infu BGE od BAAI Codefuse od Codefuseu Nex Nx od Nexu
Európske
Mistral, Pixtral a Devstral od Mistral AI Yandex GPT od Jandexu (Yandex) SeLLMa od Seznam.cz Apertus od Švajčiarskeho federálneho technologického inštitútu
Využitie LLM sú modely na všeobecné použitie, ktoré vynikajú v širokej škále úloh, na rozdiel od modelov určených na jednu konkrétnu úlohu (ako je analýza sentimentu, rozpoznávanie pomenovaných entít alebo matematické uvažovanie). Schopnosť, s akou LLM plnia úlohy, a rozsah úloh, ktoré sú schopné riešiť, je predovšetkým funkciou množstva zdrojov (dát, počtu parametrov, výpočtového výkonu), ktoré sú venované ich tvorbe; nie sú teda založené na prelomových zmenách v dizajne neurónových sietí oproti stavu vedy pred rokom 2018, ale skôr mohli vzniknúť vďaka prekročeniu kritickej hranice v množstve dát a výpočtových zdrojov.
Hoci sa neurónové jazykové modely s dostatočným tréningom a počtom parametrov trénujú na jednoduchých úlohách v zmysle predpovedania ďalšieho slova vo vete, dokázali sa celkom dobre naučiť syntax a sémantiku ľudského jazyka. Veľké jazykové modely navyše preukazujú značné všeobecné znalosti o svete a dokážu si počas učenia „zapamätať“ veľké množstvo faktov. Môžu tiež navrhovať počítačové programy na základe požiadaviek používateľa, prípadne ich rovno samy tvoriť metodológiou vibe coding.
Veľké jazykové modely sa dajú používať priamo ako partneri na rozhovor, napríklad pri učení sa cudzích jazykov, alebo sa na ich základe dajú tvoriť počítačové aplikácie prispôsobené špecifickým požiadavkám. Na tvorbu týchto aplikácií sa dá okrem všeobecnejších programovacích jazykov využiť aj špecializované frameworky, ako je napríklad LangChain.
LLM sa učia na dátach rôznych kvalít a pravdivosti. Môžu preto obsahovať a opakovať dezinformácie, konšpirácie či stereotypy. Vzhľadom na to, že trénovacie dáta veľkých modelov sú prevažne v angličtine, modely potom často prezentujú anglo-americkú perspektívu ako jedinú správnu.
Hoci LLM mávajú zakázané poskytovať neetické rady, takéto obmedzenie sa dá často obísť.
Vlastnosti
Dáta LLM sa učia na veľkých súboroch textových dát. Niektoré bežne používané dátové sady sú Common Crawl, The Pile, MassiveText, Wikipedia a GitHub. Datové sady majú rozsah až 10 biliónov slov.
Celková svetová zásoba vysoko kvalitných jazykových dát sa pohybuje v rozmedzí 4,6 – 17 biliónov slov, čo je rádovo v rozsahu najväčších použitých textových dátových sád.
LLM tak skôr cituje než uvažuje.
Škálovanie Všeobecne sa dajú LLM charakterizovať štyrmi parametrami: veľkosť modelu, rozsah trénovacej dátovej sady, náklady na učenie a výkon modelu. Každá z týchto štyroch premenných môže byť presne definovaná a kvantifikovaná, pričom empiricky sa zistilo, že ich vzájomnú závislosť možno zhruba vystihnúť vzorcami nazývanými zákonitosti mierky (anglicky scaling laws).
Jednu konkrétnu zákonitosť (zvanú „Chinchilla scaling“) pre model autoregresívne učený počas jednej epochy s log-log rýchlosťou učenia možno približne opísať takto:kde premenné sú:
sú náklady na trénovanie modelu vo FLOPS je počet parametrov v modeli je počet tokenov (zhruba povedané slov) v trénovacej sade je priemerná chyba na token (vyjadrená ako negatívna logaritmická vierohodnosť, nats/token) dosiahnutá hotovým LLM na testovacej dátovej sade
a regresné parametre sú:
, čo znamená, že učenie na jednom tokene vyžaduje 6 FLOPS na parameter. Výpočtové náklady na učení sú oveľa vyššie ako náklady na prevádzku hotového modelu, kde spracovanie jedného tokenu stojí 1 až 2 FLOP na parameter. .J. Hoffmann, S. Borgeaud, A. Mensch, E. Buchatskaya, T. Cai, E. Rutherford, D. d. L. Casas, L. A. Hendricks, J. Welbl, A. Clark, et al., "Training Compute-Optimal Large Language Models," arXiv:2203.15556
Emergentné schopnosti náhľad|V mnohých porovnávacích testoch prirodzeného jazyka, ktoré zahŕňajú úlohy ako odpovedanie na otázky, modely nefungujú lepšie ako náhodná odpoveď, kým nedosiahnu určitú veľkosť (v tomto prípade meranú výpočtovými nákladmi na ich vytvorenie). Potom sa ich výkon prudko zvýši. To sú príklady emergentných schopností. Aj keď vo všeobecnosti platí, že výkon veľkých modelov pri rôznych úlohách sa dá extrapolovať na základe výkonu podobných menších modelov, niekedy dochádza k „prielomom“ (breaks),Caballero, Ethan; Gupta, Kshitij; Rish, Irina; Krueger, David (2022). Broken Neural Scaling Laws. International Conference on Learning Representations (ICLR), 2023. skokovým nárastom schopností, takže väčšie modely získajú podstatne lepšie schopnosti, než by sa dalo čakať na základe skúseností z menších modelov. Tieto sa často označujú ako „emergentné schopnosti“ a sú predmetom rozsiahleho štúdia. Výskumníci tvrdia, že takéto schopnosti často „nemožno predpovedať jednoducho extrapoláciou výkonu menších modelov“. Skôr sa samy objavujú, než aby boli naprogramované alebo navrhnuté. V niektorých prípadoch sa na ne prišlo až po verejnom nasadení LLM. Opísané boli už stovky emergentných schopností. Príkladmi sú viackrokové aritmetické výpočty, zloženie skúšok vysokoškolskej úrovne, identifikácia zamýšľaného významu mnohoznačného slova, myšlienkové postupy, dekódovanie medzinárodnej fonetickej abecedy, uhádnutie slova na základe zoznamu jeho písmen, identifikácia urážlivého obsahu v textoch písaných v hinglish (kombinácia hindčiny a angličtiny) a generovanie podobného anglického ekvivalentu svahilských prísloví.
Halucinácie Bolo pozorované, že generatívne LLM sebaisto tvrdia veci, ktoré sa neopierajú o ich trénovacie dáta, čo je jav, ktorý sa nazýva halucinácia.
Architektúra Veľké jazykové modely najčastejšie používajú architektúru transformera, ktorá sa od roku 2017 stala štandardnou technikou hlbokého učenia pre sekvenčné dáta (predtým boli najbežnejšie RNN, ako napríklad LSTM).
Tokenizácia Tokenizácia je prevod textu na tokeny. Tokenizácia slúži na prevedenie textu do numerickej podoby, a ide tak o prvý krok pri spracovaní prirodzeného jazyka, aby text mohol byť strojovo využitý. LLM je jazykový model založený na neurónovej sieti, kde vstupom aj výstupom sú vektory čísel. V dôsledku toho musia byť slová prevedené na čísla.
Preto každý LLM používa samostatný tokenizér. Ten kóduje texty na postupnosti celých čísel. Tokenizér sa najprv nastaví na celej trénovacej dátovej sade, aby ju dokázal reprezentovať, potom sa zmrazí, na čo sa naučí samotný LLM. Bežnou voľbou je kódování bajtových párov (byte pair encoding).
Ďalšou funkciou tokenizérov je kompresia textu, ktorá šetrí pamäť počítača. Bežné slová alebo frázy ako „kde je“ sa dajú namiesto niekoľkých znakov zakódovať jediným tokenom. Rad OpenAI GPT používa tokenizér, ktorý na 1 token mapuje približne 4 znaky alebo približne 0,75 slova v bežnom anglickom texte. Neobvyklý text je menej predvídateľný, a teda menej komprimovateľný, preto jeho kódovanie vyžaduje viac tokenov.
Výstupom tokenizéra nemôže byť ľubovoľné celé číslo, ale iba celé čísla v rozsahu , kde sa nazýva veľkosť slovnej zásoby tokenizéra.
Niektoré tokenizéry sú schopné spracovať ľubovoľný text (vo všeobecnosti tým, že pracujú priamo s jeho Unicode reprezentáciou), ale iné nie. Keď narazia na nekódovateľný text, tokenizér vypíše špeciálny token (často 0), ktorý predstavuje neznámy text. Toto sa často zapisuje ako [UNK], napríklad v článku o BERT.
Ďalším bežne používaným špeciálnym tokenem je [PAD] (často 1) ako „výplň“ (vycpávka). Tá sa používa preto, lebo LLM vo všeobecnosti na vstup dostáva celý tokenizovaný text naraz, a tieto texty spravidla nemajú rovnakú dĺžku. Vzhľadom na to, že LLM spravidla vyžadujú, aby vstupom bol vektor presne zadanej dĺžky, kratšie kódované texty musia byť na konci doplnené výplňou.
Výstup Základným výstupom LLM je rozdelenie pravdepodobnosti nad jeho slovnou zásobou. To sa zvyčajne dosahuje nasledovne:
Po spracovaní textu LLM vygeneruje vektor , kde je veľkosť jeho slovnej zásoby (definovaná vyššie). Vektor prejde funkciou softmax , ktorá ho normalizuje.