Велики језички модел (ВЈМ) је врста модела за машинско учење намењена задацима обраде природног језика као што је генерисање језика. ВЈМ су језички модели са многим параметрима и тренирају се самонадгледаним учењем на огромним количинама текста.
Ова страница наводи значајне велике језичке моделе.
Листа
За колону трошкова тренирања, 1 петаФЛОП-дан = 1 петаФЛОП/сек × 1 дан = 8.64E19 ФЛОП. Такође, записан је само трошак највећег модела.
Назив Датум издавања Развијач Број параметара (милијарде) Величина корпусаТрошак тренирања (петаФЛОП-дан) Лиценца Напомене Claude Sonnet 4.5 28. септембар 2025. Anthropic 200.000 Модел оптимизован за сложене агентске задатке, кодирање и аутономно деловање. На SWE-bench Verified евалуацији постиже 77,2%, а на OSWorld бенчмарку 61,4%, што представља значајан напредак у односу на претходне верзије. Модел може аутономно радити више од 30 сати уз одржавање фокуса на задацима. Подржава контекст дужине до 200.000 токена стандардно, са експерименталном подршком за 1.000.000 токена за одређене кориснике. Цена износи $3 по милион улазних токена и $15 по милион излазних токена. Укључује побољшану контекстуалну свест, напредно праћење употребе токена и могућност паралелног коришћења алата. DeepSeek-V3.1-Terminus 22. септембар 2025. DeepSeek 671 15.639T Инкрементална надоградња модела DeepSeek V3.1, фокусирана на побољшање стабилности, језичке доследности и унапређење агентских алата (Code Agent, Search Agent). Објављен је под пермисивном MIT лиценцом, што омогућава комерцијалну употребу . Модел задржава хибридну архитектуру са могућношћу пребацивања између режима размишљања и не-размишљања и подржава контекст дужине до 128.000 токена. DeepSeek-V3.1 21. август 2025. DeepSeek 671 15.639T Величина тренирања: 14,8T токена DeepSeek V3 плус 839B токена из фаза проширења (630B + 209B) То је хибридни модел који може да се пребацује између режима размишљања и не-размишљања. GPT-5 7. август 2025. OpenAI Укључује три модела: GPT-5, GPT-5 mini и GPT-5 nano. GPT-5 је доступан у ChatGPT и API-ју. Садржи способности размишљања. Claude 4.1 5. август 2025. Anthropic Укључује један модел, Opus. GPT-OSS 5. август 2025. OpenAI 117 Издат у величинама од 20B и 120B. GLM-4.5 29. јул 2025. Zhipu AI 355 22T токена Издат у величинама од 335B и 106B. Величина корпуса је израчуната комбиновањем 15 трилиона токена и 7 трилиона токена пре-тренинг мешавине. Grok 4 9. јул 2025. xAI Claude 4 22. мај 2025. Anthropic Укључује два модела, Sonnet и Opus. Qwen3 април 2025. Alibaba Cloud 235 Више величина, најмања је 0,6B. OpenAI o3 и o4-mini 16. април 2025. OpenAI Модели за расуђивање. Llama 4 5. април 2025. Meta AI GPT-4.5 27. фебруар 2025. OpenAI Највећи не-расуђујући модел. Claude 3.7 24. фебруар 2025. Anthropic Један модел, Sonnet 3.7. Grok 3 фебруар 2025. xAI ,процењено 5.800.000 Трошак тренирања „10 пута више рачунања од претходних најсавременијих модела". Gemini 2.0 фебруар 2025. Google DeepMind Три модела издата: Flash, Flash-Lite и Pro Qwen2.5 јануар 2025. Alibaba 72 18T токена 7 густих модела, са бројем параметара од 0,5B до 72B. Такође су издали 2 MoE варијанте. MiniMax-Text-01 јануар 2025. Minimax 456 4,7T токена DeepSeek-R1 јануар 2025. DeepSeek 671 Нема пре-тренирања. Учење појачањем на V3-Base. Amazon Nova децембар 2024. Amazon Укључује три модела: Nova Micro, Nova Lite и Nova Pro DeepSeek-V3 децембар 2024. DeepSeek 671 14,8T токена 2.788M сати на H800 GPU-овима. Првобитно издат под DeepSeek лиценцом, затим поново издат под MIT лиценцом као „DeepSeek-V3-0324" у марту 2025. Mistral Large новембар 2024. Mistral AI 123 Унапређиван током времена. Најновија верзија је 24.11. Pixtral новембар 2024. Mistral AI 123 Мултимодални. Постоји и 12B верзија која је под Apache 2 лиценцом. OpenAI o1 12. септембар 2024. OpenAI Модел за расуђивање. Llama 3.1 јул 2024. Meta AI 405 15,6T токена 405B верзија је требало 31 милион сати на H100-80GB, при 3,8E25 ФЛОП-ова."The Llama 3 Herd of Models" (July 23, 2024) Llama Team, AI @ Meta Claude 3.5 јун 2024. Anthropic Првобитно, издат је само један модел, Sonnet. У октобру 2024, Sonnet 3.5 је унапређен, а Haiku 3.5 је постао доступан. Nemotron-4 јун 2024. Nvidia 9T токена Тренiran за 1 епоху. Тренiran на 6144 H100 GPU-а између децембра 2023. и маја 2024. DeepSeek-V2 јун 2024. DeepSeek 236 8,1T токена 1,4M сати на H800. Qwen2 јун 2024. Alibaba Cloud 72 3T токена Више величина, најмања је 0,5B. Granite Code Models мај 2024. IBM Chameleon јун 2024. Meta AI Fugaku-LLM мај 2024. Fujitsu, Tokyo Institute of Technology, итд. 380B токена Највећи модел икад тренiran само на CPU-у, на Fugaku Phi-3 април 2024. Microsoft 14 4,8T токена Microsoft их рекламира као „мали језички модел". Mixtral 8x22B април 2024. Mistral AI 141 DBRX март 2024. Databricks и Mosaic ML 12T токена Трошак тренирања 10 милиона УСД Claude 3 март 2024. Anthropic Укључује три модела: Haiku, Sonnet и Opus. Gemma фебруар 2024. Google DeepMind 7 6T токена Gemini Ultra фебруар 2024. Google DeepMind Gemini 1.5 фебруар 2024. Google DeepMind Мултимодални модел, заснован на Mixture-of-Experts (MoE) архитектури. Контекстуални прозор преко 1 милион токена. Phi-2 децембар 2023. Microsoft 2,7 1,4T токена 419 Тренiran на правим и синтетичким „уџбеничког квалитета" подацима, током 14 дана на 96 A100 GPU-а. DeepSeek-LLM 29. новембар 2023. DeepSeek 67 2T токена Тренiran на енглеском и кинеском тексту. 1e24 ФЛОП-ова за 67B. 1e23 ФЛОП-ова за 7B Mixtral 8x7B децембар 2023. Mistral AI 46,7 Надмашује GPT-3.5 и Llama 2 70B на многим тестовима. Mixture of experts модел, са 12,9 милијарди параметара активираних по токену. Gemini 1.0 децембар 2023. Google DeepMind Мултимодални модел, долази у три величине. Користи се у четботу истог имена. Grok 1 новембар 2023. xAI 314 Користи се у Grok четботу. Grok 1 има дужину контекста од 8.192 токена и има приступ X (Twitter)-у. Claude 2.1 новембар 2023. Anthropic Користи се у Claude четботу. Има контекстуални прозор од 200.000 токена, или ~500 страница. Mistral 7B септембар 2023. Mistral AI Granite 13b јул 2023. IBM Користи се у IBM Watsonx. Claude 2 јул 2023. Anthropic Користи се у Claude четботу. Llama 2 јул 2023. Meta AI 1,7 милиона A100-сати. PaLM 2 (Pathways Language Model 2) мај 2023. Google Користио се у Bard четботу. Jurassic-2 март 2023. AI21 Labs Вишејезички OpenAssistant март 2023. LAION 1,5 трилиона токена Тренiran на отвореним подацима прикупљеним заједничким радом PanGu-Σ март 2023. Huawei 329 милијарди токена Falcon март 2023. Technology Innovation Institute 1 трилион токена, из RefinedWeb (филтриран веб текстуални корпус) плус неки „курирани корпуси". 2800 UAE's Falcon 40B, World's Top-Ranked AI Model from Technology Innovation Institute, is Now Royalty-Free , 31 May 2023 Cerebras-GPT март 2023. Cerebras 270 Тренiran са Chinchilla формулом. BloombergGPT март 2023. Bloomberg L.P. 363 милијарде токена базирано на Bloomberg-овим изворима података, плус 345 милијарди токена из скупова података опште намене Тренiran на финансијским подацима из власничких извора, за финансијске задатке GPT-4 март 2023. OpenAI (Према гласинама: 1760) ,процењено 230.000 Доступан за све ChatGPT кориснике сада и користи се у неколико производа. Llama фебруар 2023. Meta AI 6300 Корпус има 20 језика. „Претренираност" (у поређењу са Chinchilla scaling law) за боље перформансе са мање параметара. GPT-NeoX фебруар 2022. EleutherAI 825 GiB 740 заснован на Megatron архитектури Chinchilla март 2022. DeepMind 6805Table 20 and page 66 of PaLM: Scaling Language Modeling with Pathways Модел са смањеним параметрима трениран на више података. Коришћен у Sparrow боту. Често се цитира због свог неуронског закона скалирања. PaLM (Pathways Language Model) април 2022. Google Тренiran око 60 дана на око 6000 TPU v4 чипова. OPT (Open Pretrained Transformer) мај 2022. Meta 310 GPT-3 архитектура са неким адаптацијама из Megatron-а. Јединствено, објављен је тренинг дневник који је написао тим. YaLM 100B јун 2022. Yandex 1,7TB Енглеско-руски модел заснован на Microsoft-овом Megatron-LM Minerva јун 2022. Google 38,5B токена са веб страница филтрираних за математички садржај и из радова послатих arXiv серверу за препринтове За решавање „математичких и научних питања користећи корак-по-корак резоновање". Иницијализован из PaLM модела, затим дотерiван на математичким и научним подацима. BLOOM јул 2022. Велика сарадња предвођена Hugging Face-ом (1,6TB) У суштини GPT-3 али тренiran на вишејезичком корпусу (30% енглески искључујући програмске језике) Galactica новембар 2022. Meta Тренiran на научном тексту и модалностима. AlexaTM (Teacher Models) новембар 2022. Amazon Двосмерна секвенција-у-секвенцију архитектура Attention Is All You Need јун 2017. Васвани и сар. на Google-у 0,213 36 милиона енглеско-француских парова реченица 0,09 Тренiran за 0,3M корака на 8 NVIDIA P100 GPU-а. Тренинг и евалуациони кôд издат под Apache 2.0 лиценцом. GPT-1 јун 2018. OpenAI 1 Први GPT модел, декодер-само трансформер. Тренiran 30 дана на 8 P600 GPU-а. BERT октобар 2018. Google Рани и утицајни језички модел. Само-енкодер и стога није направљен да буде покретан упитима или генеративан. Тренирање је трајало 4 дана на 64 TPUv2 чипа. T5 октобар 2019. Google 34 милијарде токена Базни модел за многе Google пројекте, као што је Imagen. XLNet јун 2019. Google 330 Алтернатива BERT-у; дизајниран као енкодер-само. Тренiran на 512 TPU v3 чипова током 5,5 дана. GPT-2 фебруар 2019. OpenAI 40GB (~) 28 Тренiran на 32 TPUv3 чипа током 1 недеље. GPT-3 мај 2020. OpenAI 3640Table D.1 in Дотерана варијанта GPT-3, названа GPT-3.5, учињена је доступном јавности кроз веб интерфејс под називом ChatGPT 2022. GPT-Neo март 2021. EleutherAI 825 GiB Први из серије бесплатних GPT-3 алтернатива које је издао EleutherAI. GPT-Neo је надмашио еквивалентни по величини GPT-3 модел на неким тестовима, али је био значајно гори од највећег GPT-3. GPT-J јун 2021. EleutherAI 825 GiB 200 Језички модел GPT-3 стила Megatron-Turing NLG октобар 2021. Microsoft и Nvidia 38.000 Тренiran 3 месеца на преко 2000 A100 GPU-а на NVIDIA Selene суперкомпјутеру, за преко 3 милиона GPU-сати Ernie 3.0 Titan децембар 2021. Baidu 4TB Кинески језички ВЈМ. Ernie Bot је заснован на овом моделу. Claude децембар 2021. Anthropic Дотеран за пожељно понашање у разговорима. GLaM (Generalist Language Model) децембар 2021. Google 5600 Ретки mixture of experts модел, што га чини скупљим за тренирање али јефтинијим за покретање закључивања у поређењу са GPT-3. Gopher децембар 2021. DeepMind 5833 Касније развијен у Chinchilla модел. LaMDA (Language Models for Dialog Applications) јануар 2022. Google 1,56T речи, 4110 Специјализован за генерисање одговора у разговорима.
Види још
Листа тестова језичких модела
Напомене
Референце