XLA (Àlgebra Lineal Accelerada) és un compilador de codi obert per a l'aprenentatge automàtic desenvolupat pel projecte OpenXLA. XLA està dissenyat per millorar el rendiment dels models d'aprenentatge automàtic optimitzant els gràfics de computació a un nivell inferior, cosa que el fa especialment útil per a càlculs a gran escala i models d'aprenentatge automàtic d'alt rendiment. Les característiques clau de XLA inclouen:

Compilació de gràfics de computació: Compila gràfics de computació en codi màquina eficient. Tècniques d'optimització: Aplica la fusió d'operacions, l'optimització de memòria i altres tècniques. Suport de maquinari: Optimitza models per a diversos maquinari, com ara CPU, GPU i NPU. Temps d'execució del model millorat: té com a objectiu reduir el temps d'execució dels models d'aprenentatge automàtic tant per a l'entrenament com per a la inferència. Integració perfecta: es pot utilitzar amb codi d'aprenentatge automàtic existent amb canvis mínims.

XLA representa un pas significatiu en l'optimització dels models d'aprenentatge automàtic, proporcionant als desenvolupadors eines per millorar l'eficiència i el rendiment computacionals.

Projecte OpenXLA El projecte OpenXLA és una iniciativa d'infraestructura i compilació d'aprenentatge automàtic de codi obert que pretén proporcionar un conjunt comú d'eines per compilar i implementar models d'aprenentatge automàtic a través de diferents frameworks i plataformes de maquinari. Proporciona una pila de compilació modular que pot ser utilitzada pels principals frameworks d'aprenentatge profund com JAX, PyTorch i TensorFlow. El projecte se centra en subministrar components compartits per a l'optimització, la portabilitat i l'execució a través de CPU, GPU i acceleradors especialitzats. El seu disseny emfatitza la interoperabilitat entre frameworks i un conjunt estandarditzat de representacions per al càlcul de models.

Components L'ecosistema OpenXLA inclou diversos components bàsics:

XLA: un compilador d'aprenentatge profund que optimitza els gràfics computacionals per a múltiples objectius de maquinari. PJRT: una interfície d'execució que permet que diferents backends es connectin a XLA a través d'una API consistent. StableHLO: un conjunt d'operadors d'alt nivell pensat per servir com a representació estable i portàtil per a models d'aprenentatge automàtic (ML) entre compiladors i frameworks. Shardy: un sistema basat en MLIR per descriure i transformar models que s'executen en entorns distribuïts o multidispositiu. Eines addicionals de perfilació, proves i integració mantingudes sota l'organització OpenXLA.

Usuaris i adoptants Diversos marcs d'aprenentatge automàtic poden utilitzar o interoperar amb components d'OpenXLA, incloent-hi JAX, TensorFlow i parts de l'ecosistema PyTorch. El projecte es desenvolupa amb la participació de múltiples organitzacions de maquinari i programari que contribueixen amb integracions de back-end, proves o especificacions per als seus dispositius. Això inclou Alibaba, Amazon Web Services, AMD, Anyscale, Apple, Arm, Cerebras, Google, Graphcore, Hugging Face, Intel, Meta, NVIDIA i SiFive.

Dispositius de destinació compatibles x86-64 ARM64 GPU NVIDIA GPU d'AMD GPU Intel GPU d'Apple TPU de Google AWS Trainium, Inferentia Cerebres Graphcore IPU

Governança OpenXLA es desenvolupa com un projecte comunitari i el seu treball es duu a terme en repositoris públics, fòrums de discussió i reunions de disseny. Alguns components, com ara StableHLO, van començar amb la supervisió d'organitzacions específiques i han esbossat plans per a models de governança més formals i distribuïts a mesura que el projecte madura.

Història El projecte es va anunciar el 2022 com un esforç per coordinar el desenvolupament de tecnologies de compilació d'aprenentatge automàtic (ML) entre les principals empreses d'IA, en particular: Alibaba, Amazon Web Services, AMD, Anyscale, Apple, Arm, Cerebras, Google, Graphcore, Hugging Face, Intel, Meta, NVIDIA i SiFive. Va consolidar el compilador XLA, va introduir StableHLO com un conjunt d'operadors portàtil i va crear una estructura unificada per a eines addicionals. El desenvolupament continua dins de múltiples repositoris sota el paraigua d'OpenXLA. Va ser fundat per Eugene Burmako, James Rubin, Magnus Hyttsten, Mehdi Amini, Navid Khajouei i Thea Lamkin de l'organització d'aprenentatge automàtic de Google.

Referències

Categoria:Programari Categoria:Aprenentatge automàtic