Gemma – rodzina otwartych dużych modeli językowych Google DeepMind, udostępniana z otwartymi wagami i zbudowana w oparciu o badania i technologię stojące za zamkniętą rodziną modeli Gemini. Nazwa pochodzi od łacińskiego słowa gemma oznaczającego klejnot. Oprócz głównej linii generacyjnej rodzina obejmuje warianty pochodne: CodeGemma (kod), RecurrentGemma (architektura rekurencyjna) oraz PaliGemma (model wizyjno-językowy). Modele są dystrybuowane między innymi przez Hugging Face, i Vertex AI oraz mogą być uruchamiane lokalnie na sprzęcie konsumenckim.

Historia wersji

Gemma 1 Pierwsza generacja, wydana 21 lutego 2024, obejmowała warianty 2B i 7B w wersji bazowej oraz dostrojonej instrukcyjnie. Model przyjmował i generował wyłącznie tekst, głównie w języku angielskim.

Gemma 2 Druga generacja ukazała się 27 czerwca 2024 w wariantach 9B i 27B (2B dołączył 31 lipca 2024). Wprowadzono Grouped Query Attention oraz naprzemienne warstwy uwagi globalnej i lokalnej (sliding window). Model 27B trenowano od podstaw na około 13 bilionach tokenów, a warianty 2B i 9B powstały z destylacji wiedzy z większego modelu.

Gemma 3 Trzecia generacja została zaprezentowana 10 marca 2025 w wariantach 1B, 4B, 12B i 27B (270M dołączył w sierpniu 2025). Modele od 4B wzwyż otrzymały koder wizyjny SigLIP umożliwiający przyjmowanie obrazu jako wejścia. Okno kontekstu zwiększono do 128 tysięcy tokenów. Nathan Lambert w analizie portalu Interconnects ocenił, że Gemma 3 27B była pierwszym otwartym modelem porównywalnym z Gemini 1.5 Pro.

Gemma 4 Czwarta generacja została opublikowana 31 marca 2026 w czterech wariantach: Effective 2B (E2B), Effective 4B (E4B), 26B Mixture of Experts oraz 31B Dense. Wszystkie warianty są multimodalne i przyjmują tekst, obraz oraz wideo, a modele E2B i E4B obsługują dodatkowo natywne wejście dźwiękowe. Małe modele dysponują oknem kontekstu 128 tys. tokenów, a warianty 26B i 31B 256 tys. Wraz z Gemmą 4 Google przeszedł z własnych Gemma Terms of Use na licencję Apache 2.0.

Warianty pochodne Oprócz głównej linii generacyjnej Google DeepMind opublikował kilka modeli pochodnych opartych na Gemmie:

CodeGemma (9 kwietnia 2024, warianty 2B, 7B i 7B-IT) to model wyspecjalizowany w generowaniu i uzupełnianiu kodu, dotrenowany na 500 miliardach tokenów kodu źródłowego, danych matematycznych i tekstu. RecurrentGemma (9 kwietnia 2024, warianty 2B i 9B) opiera się na architekturze Griffin łączącej liniowe rekurencje z lokalną uwagą, dzięki czemu zużywa mniej pamięci i zachowuje stałą prędkość próbkowania niezależnie od długości kontekstu. PaliGemma (14 maja 2024, 3B) to model wizyjno-językowy łączący koder obrazu SigLIP-So400m z Gemmą 2B, przeznaczony do dostrajania na zadaniach takich jak podpisywanie obrazów, odpowiadanie na pytania wizualne i segmentacja. PaliGemma 2 (5 grudnia 2024, warianty 3B, 10B i 28B) wykorzystuje ten sam koder wizyjny SigLIP-So400m, ale jako komponent językowy stosuje Gemmę 2, osiągając po dostrojeniu najlepsze wyniki m.in. w OCR, rozpoznawaniu struktur tabelarycznych i generowaniu opisów radiogramów.

Architektura Modele Gemma opierają się na dekoderach transformera. Począwszy od Gemmy 2 stosowane są Grouped Query Attention, RMSNorm, GeGLU oraz osadzenia pozycyjne RoPE. W Gemmie 2 i 3 wprowadzono naprzemienne warstwy uwagi lokalnej i globalnej w proporcjach 1:1 oraz 5:1, co służy redukcji rozmiaru pamięci podręcznej kluczy i wartości przy długim kontekście. W generacjach trzeciej i czwartej dodano ścieżkę przetwarzania obrazów opartą na koderze SigLIP, a w Gemmie 4 natywne wejścia wideo i audio dla mniejszych wariantów.

Cechy charakterystyczne Gemmy 4 Najistotniejszą zmianą jest zastosowanie techniki MatFormer (ang. Matryoshka Transformer), rozszerzenia Matryoshka Representation Learning na pełny dekoderowy transformer. W MatFormerze mniejsze warianty są strukturalnie zagnieżdżone w większych: wagi E2B stanowią ścisły podzbiór wag E4B, a te są podzbiorem wag wariantu 26B. Cała rodzina powstaje z jednego treningu, bez osobnej destylacji. Powiązany mechanizm Mix'n'Match pozwala łączyć w jednym modelu warstwy o różnych szerokościach, generując z jednego punktu kontrolnego setki podmodeli dopasowanych do różnych ograniczeń sprzętowych.

Wariant 26B opiera się na rzadkim Mixture of Experts ze 128 ekspertami i routingiem top-8, dzięki czemu w czasie wnioskowania aktywne pozostaje około 3,8 mld parametrów. Warianty Effective 2B i 4B mają więcej parametrów fizycznych, ale dzięki technice osadzeń per warstwa (ang. Per-Layer Embeddings, PLE) ich efektywny ślad pamięciowy odpowiada modelom o nominalnej wielkości 2 i 4 mld. Licencja Apache 2.0 jest pierwszą w historii rodziny licencją zatwierdzoną przez Open Source Initiative i znosi dotychczasowe ograniczenia treściowe oraz obowiązek dystrybucji pochodnych z polityką Google.

Odbiór Gemma 4 31B osiągnęła wynik ELO około 1452 w rankingu LMArena, plasujący ją w okolicach trzeciego miejsca wśród otwartych modeli. The Register, omawiając publikację Gemmy 4, ocenił, że zmiana licencji oraz rozszerzenie obsługi do ponad 140 języków stanowiły bezpośrednią reakcję Google na wzrost popularności otwartych modeli chińskich firm Moonshot AI i Alibaba.

Przypisy

Linki zewnętrzne Oficjalna dokumentacja Gemma Strona Gemma w serwisie Google DeepMind Modele Gemma na Hugging Face

Kategoria:Produkty Google Kategoria:Duże modele językowe