Gemma és una sèrie de models de llenguatge de grans dimensions disponibles en codi font desenvolupats per Google DeepMind. Està basat en tecnologies similars a Gemini. La primera versió es va publicar el febrer de 2024, seguida de Gemma 2 de juny de 2024, Gemma 3 el març de 2025, i la Gemma, de pesos oberts el 4 d'abril de 2026. També s'han desenvolupat variants de Gemma, com ara el model de llenguatge-visió PaliGemma i el model MedGemma per a temes de consulta mèdica.

Història El febrer de 2024, Google va estrenar Gemma, una col·lecció de LLM disponibles en codi font que serveixen com a versió lleugera de Gemini. La versió inicial va venir en dues mides: xarxes neuronals amb dos i set mil milions de paràmetres respectivament. Diverses publicacions van veure això com una resposta a competidors com Meta que publiquen el codi font dels seus models d'IA, i un canvi respecte a la pràctica de Google de mantenir privat el seu codi font d'IA.

Gemma 2 es va estrenar el 27 de juny de 2024, i Gemma 3 es va publicar el 2 de març de 2025. El 2 d'abril de 2026, Google va llançar Gemma 4 sota la llicència lliure i de codi obert Apache 2.0.

Visió general Basada en tecnologies similars a les de la sèrie de models Gemini, Google descriu Gemma com una ajuda per donar suport a la seva missió de "fer que la IA sigui útil per a tothom". Google ofereix variants oficials de Gemma optimitzades per a casos d'ús específics, com ara MedGemma per a anàlisis mèdiques.

Des del seu llançament, els models de Gemma han tingut més de 150 milions de descàrregues, amb 70.000 variants disponibles a Hugging Face.

Gemma 3 s'oferia en mides de paràmetres d'1, 4, 12 i 27 mil milions amb suport per a més de 140 idiomes. Com a models multimodals, admeten tant l'entrada de text com d'imatges. Google també ofereix Gemma 3nmodels més petits optimitzats per a la seva execució en dispositius de consum com ara telèfons intel·ligents, ordinadors portàtils i tauletes.

L'última generació de models és la Gemma 4, llançada el 2 d'abril de 2026. Està disponible en quatre mides: Eficaç 2B (E2B), Efectiu 4B (E4B), 26B Barreja d'experts (MoE) i 31B Densa. Gemma 4 admet entrada multimodal, incloent-hi imatges i vídeo en tots els models, amb entrada d'àudio nativa als models E2B i E4B. Gemma la variant 31B Dense de 4 va arribar al tercer lloc a la classificació de text d'Arena, i la variant 26B va arribar al sisè lloc. Gemma 4 12B es va llançar el 3 de juny de 2026 i presenta una arquitectura multimodal unificada que processa imatges i àudio sense codificadors.

Arquitectura Gemma 3 es basa en una arquitectura de transformador només de descodificador amb atenció de consultes agrupades (GQA) i el codificador de visió SigLIP. Cada model té una longitud de context de 128K, amb l'excepció de Gemma 3 1B, que té una longitud de context de 32K.

També hi ha disponibles versions quantitzades ajustades mitjançant entrenament amb coneixement de la quantificació (QAT), que ofereixen millores considerables en l'ús de memòria amb cert impacte negatiu en la precisió i la precisió.

Variants Google desenvolupa variants oficials dels models Gemma dissenyades per a finalitats específiques, com ara l'anàlisi mèdica o la programació. Aquests inclouen:

CodeGemma (2B i 7B): CodeGemma és un grup de models dissenyats per a la finalització de codi, així com per a l'ús general de la codificació. Admet diversos llenguatges de programació, com ara Python, Java, C++ i més. DolphinGemma (aproximadament 400 milions): Desenvolupat en col·laboració amb investigadors de Georgia Tech i el Wild Dolphin Project, DolphinGemma té com a objectiu comprendre millor la comunicació dels dofins mitjançant l'anàlisi d'àudio. Tanmateix, no s'ha publicat cap model ni cap dada. MedGemma (4B i 27B): També basat en Gemma 3, MedGemma està dissenyat per a aplicacions mèdiques com l'anàlisi d'imatges. No obstant això, Google també assenyala que MedGemma "encara no té grau clínic". Els desenvolupadors de Tap Health a Gurgaon, Índia, han utilitzat MedGemma per millorar les aplicacions de gestió de la diabetis assistides per IA. PaliGemma (3B, 10B i 28B, basats en Gemma 2 amb 2B, 9B i 27B, respectivament): Per a visió artificial i anàlisi d'imatges. ShieldGemma 2 (4B): Basat en la Gemma 3 family, ShieldGemma està dissenyat per identificar i filtrar imatges violentes, perilloses i sexualment explícites. TranslateGemma (4B, 12B i 27B): Per a la traducció automàtica.

Especificacions tècniques dels models Gemma: GeneracióData iniciParametresLongitud ContextGemma 12024-02-212B, 7B8,192CodeGemma2B, 7B8,192RecurrentGemma2024-04-112B, 9BIl·limitat (entrenat amb 8.192)Gemma 22024-06-272B, 9B, 27B8,192PaliGemma2024-07-103B8,192PaliGemma 22024-12-043B, 10B, 28B8,192Gemma 32025-03-121B, 4B, 12B, 27B131,072Gemma 42026-04-0231B, 26B A4B, 12B, 4B, ~2B128K (vora) 256K (lmés gros) Nota: els models de pes obert poden tenir la longitud del context reescalada en el moment de la inferència. Amb la Gemma 1, Gemma 2, PaliGemma i PaliGemma 2, el cost és un augment lineal de la mida de la memòria cau kv en relació amb la mida de la finestra de context. Amb la Gemma 3, hi ha una corba de creixement millorada a causa de la separació de l'atenció local i global. Amb RecurrentGemma, l'ús de memòria no canvia després de 2.048 tokens.

Referències

Categoria:Intel·ligència artificial Categoria:Programari Categoria:Google