SGLang (abreujament de Structured Generation Language) és un marc de treball de codi obert per programar i servir models de llenguatges grans i models multimodals. Va ser introduït per investigadors afiliats a LMSYS i altres institucions com un sistema que combina un llenguatge integrat en Python per a la generació estructurada amb un temps d'execució per a la inferència d'alt rendiment.
El projecte està dissenyat per a càrregues de treball d'inferència de baixa latència i alt rendiment, i la seva documentació descriu la compatibilitat amb funcions com ara sortides estructurades, descodificació especulativa, processament per lots continu, quantificació i compatibilitat amb API d'estil OpenAI.
Història SGLang va ser presentat públicament el gener de 2024 per investigadors afiliats a Stanford, UC Berkeley, Texas A&M i la Universitat Jiao Tong de Xangai. La seva descripció acadèmica va aparèixer posteriorment a les actes de NeurIPS 2024. El gener de 2026, TechCrunch va informar que els col·laboradors associats al projecte havien format la startup RadixArk per comercialitzar serveis al voltant de SGLang mentre continuaven el seu desenvolupament de codi obert.
Arquitectura Segons l'article de NeurIPS, SGLang consta de dos components principals: un llenguatge front-end integrat a Python i un temps d'execució back-end per executar programes de models de llenguatge de manera eficient. El front-end proporciona primitives per a la generació, la selecció i el flux de control paral·lel, mentre que el temps d'execució utilitza un conjunt d'optimitzacions destinades a reduir els càlculs repetits i millorar el rendiment.
Entre les tècniques descrites pel projecte hi ha RadixAttention per reutilitzar l'estat de la memòria cau de valor clau en múltiples crides de generació, màquines d'estat finit comprimides per a una descodificació restringida més ràpida i execució especulativa per a models basats en API. La documentació actual també descriu la compatibilitat amb el servei de models de llenguatge i models multimodals a través d'una gamma de backends de maquinari.
Referències
Categoria:Intel·ligència artificial Categoria:Programari