Mały model językowy (, SLM) – model językowy oparty na sztucznej inteligencji, zaprojektowany do przetwarzania języka naturalnego, w tym generowania języka i tekstu. W przeciwieństwie do dużych modeli językowych (LLM), małe modele językowe są bardziej ekonomiczne: charakteryzują się znacznie mniejszym rozmiarem i węższym zakresem zastosowań.
Małe modele językowe wykorzystują znacznie mniej parametrów, zazwyczaj od kilku milionów (M) do kilku miliardów (B). Dzięki temu można je wykorzystać w nauczaniu i hostowaniu w środowiskach o ograniczonych zasobach, takich jak pojedynczy komputer czy urządzenie mobilne.
Większość współczesnych (lata 20. XXI wieku) małych modeli językowych wykorzystuje tę samą architekturę, co LLMy, ale z mniejszą liczbą parametrów i czasami niższą precyzją arytmetyczną. Liczbę parametrów można zmniejszyć poprzez połączenie destylacji wiedzy i przycinania. Precyzję można zmniejszyć poprzez kwantyzację. Prace nad modelami LLM w większości przekładają się na modele SLM: przycinanie i kwantyzacja są również szeroko stosowane w celu przyspieszenia LLM. Niektóre bardziej popularne modele to:
Poniżej 1 mld parametrów: Llama-Prompt-Guard-2-22M, SmolLM2-135M, SmolLM2-360M Ilość parametrów 1 – 4 mld: Llama3.2-1B, Qwen2.5-1.5B, DeepSeek-R1-1.5B, SmolLM2-1.7B, SmolVLM-2.25B, Phi-3.5-Mini-3.8B, Phi-4-Mini-3.8B, Gemma3-4B Ilość parametrów 4 – 14 mld: Bielik, Mistral 7B, Gemma 9B, Phi-4 14B.
Zobacz też edge computing
Przypisy
Kategoria:Modelowanie języka Kategoria:Przetwarzanie języka naturalnego