Малая языковая модель (МЯМ; англ. Small Language Model, SLM) — нейронная языковая модель, созданная для обработки, понимания и генерации естественного языка. Главное её отличие от большой языковой модели (БЯМ, LLM) состоит в меньшем количестве параметров и более узкой сфере применения.
Малыми называют языковые модели с количеством параметров в диапазоне от нескольких миллионов до десятков миллиардов, в то время как для больших языковых моделей характерно иметь несколько сотен миллиардов параметров. Такое сравнительно небольшое количество параметров позволяет быстрее и проще обучать их, а также запускать модели на пользовательских устройствах: компьютерах, ноутбуках и т. д.
Обучение Малые языковые модели обучаются с использованием как традиционных подходов, применяемых для больших языковых моделей, так и специализированных техник, направленных на достижение высокой производительности при меньшем размере модели.
Методы и этапы Дистилляция знаний (knowledge distillation)[англ.] — это способ обучения в первую очередь нейросетевых моделей машинного обучения, направленный на передачу знаний от модели-учителя к модели-ученику. Квантование (Quantization) — метод сжатия модели, который преобразует веса и активации в LLM путем уменьшения битности вычислений. Обрезка (Pruning)[англ.] — практика удаления параметров из существующей искусственной нейронной сети. Дообучение (Fine-tuning) — практика модификации существующей предварительно обученной языковой модели путём её обучения конкретной задаче (например, анализ настроений).
Список популярных моделей Имя моделиКол-во параметровКомпания-разработчикPhi-3 Mini3,8 млрдMicrosoftPhi-3 Small7 млрдMicrosoftPhi-3 Medium14 млрдMicrosoftMistral 7B7,3 млрдMistral AIGPT-4o mini8 млрдOpenAIGemma 2 2B2 млрдGoogle DeepMindGemma 7B7 млрдGoogle DeepMindRecurrentGemma 2B2,68 млрдGoogle DeepMindLLaMA 3.2 3b3 млрдMeta AILlama 3 8B8 млрдMeta AIOpenELM270 млн, 450 млн, 1,1 млрд, 3 млрдAppleQwen1.50,5 млрд, 1,8 млрд, 4 млрд, 7 млрдAlibaba Cloud
Примечания
Категория:Обработка естественного языка Категория:Глубокое обучение Категория:Малые языковые модели Категория:Генеративный искусственный интеллект