Huawei PanGu, PanGu, PanGu-Σ o PanGu-π (en xinès 盘古大模型; pinyin: pángǔ dà móxíng) és un model de llenguatge extens multimodal desenvolupat per Huawei. Es va anunciar el 7 de juliol de 2023.
El nom del gran model de llenguatge d'aprenentatge, PanGu, deriva de la mitologia i el folklore xinesos de Pangu, un personatge primordial relacionat amb la creació del món.
Història Desenvolupament inicial L'abril de 2023, Huawei va publicar un article que detallava el desenvolupament de PanGu-Σ, un model de llenguatge colossal amb 1,085 bilions de paràmetres. Desenvolupat dins del marc MindSpore 5 de Huawei, PanGu-Σ es va entrenar durant més de 100 dies en un sistema de clúster equipat amb 512 xips acceleradors d'IA Ascend 910, processant 329.000 milions de tokens en més de 40 llenguatges naturals i de programació.
PanGu-Σ incorpora Random Routed Experts (RRE) i l'arquitectura del descodificador Transformer, permetent una fàcil extracció de submodels per a diverses aplicacions com ara conversa, traducció, producció de codi i interpretació del llenguatge natural. El model aconsegueix un rendiment d'entrenament 6,3 vegades més ràpid en comparació amb els models MoE amb els mateixos hiperparàmetres. En l'àmbit xinès, supera els models d'avantguarda anteriors en 16 tasques en un entorn de zero shot. Entrenat en conjunts de dades de 40 dominis, incloent-hi xinès, anglès, bilingüe i codi, PanGu-Σ destaca en la comprensió del llenguatge natural en pocs cops, la discussió de domini obert, la resposta a preguntes, la traducció automàtica i la creació de codi.
Llançament Durant la Conferència de Desenvolupadors de Huawei del 7 de juliol de 2023, Huawei va presentar PanGu 3.0, un model de llenguatge gran (LLM), adaptat per a sectors com el govern, les finances, la indústria manufacturera, la mineria i la meteorologia que utilitzen solucions. El mes següent, Huawei va llançar l'assistent virtual Celia amb funcions avançades d'IA, capaç de generar respostes de text llargues basades en ordres de veu de l'usuari i que es llançarà amb HarmonyOS 4.0 per a dispositius compatibles.
El màster en dret (LLM) va ser dissenyat per a empreses que busquen avantatges en la indústria de la IA, centrant-se en l'execució de tasques per sobre del treball creatiu, a diferència dels models tradicionals utilitzats per a finalitats generals com ara els chatbots, la poesia i la creació de contingut visual.
Utilitzant la mateixa tecnologia que ChatGPT, l'LLM de Huawei presenta una arquitectura jeràrquica que permet als clients adaptar el model a diverses tasques i entrenar-lo en els seus propis conjunts de dades, cosa que el fa versàtil en diverses indústries.
Actualitzacions El 5 d'agost de 2023, Huawei es va associar amb el Centre Europeu de Previsions Meteorològiques a Mitjà Termini (ECMWF) per llançar un model d'IA de predicció meteorològica global. Aquest model utilitzava solucions Huawei Cloud i el model PanGu-Weather amb MindSpore. És accessible al lloc web de l'ECMWF i té com a objectiu proporcionar dades meteorològiques precises.
El 19 de desembre de 2023, Huawei va anunciar els seus serveis financers a la plataforma d'IA Finance impulsada per PanGu per al mercat global. El gegant tecnològic va presentar aquest producte a la Huawei Cloud Fintech Summit del 2023, amb l'objectiu de remodelar la indústria de les finances digitals amb funcions eficients per impulsar les empreses Fintech de tot el món. La plataforma incorporava diverses tecnologies avançades, com ara la IA, l'anàlisi de big data i la cadena de blocs.
El 21 de juny de 2024, a la HDC 2024, Huawei va anunciar l'actualització de PanGu 5.0 juntament amb HarmonyOS NEXT. Aquesta versió s'integra amb Harmony Intelligence, que presenta una Celia (Xiaoyi) més intel·ligent i se centra en actualitzacions generatives d'IA a la seva plataforma LLM per crear contingut nou, com ara text, codi o imatges. Amb l'objectiu de fer que PanGu fos accessible a una àmplia gamma de desenvolupadors i empreses, oferia opcions escalables: models més petits que requerien menys potència computacional per a aquells amb recursos limitats i models més grans amb més capacitat per a tasques complexes que requerien més potència de processament.
Especificacions tècniques El PanGu Large Model 3.0, dissenyat per a ús industrial, es va estructurar amb una arquitectura de tres nivells 5+N+X.
Primera capa (L0): Comprèn els cinc models bàsics grans de PanGu per proporcionar una varietat de capacitats per a diferents escenaris industrials. Aquests inclouen models de processament del llenguatge natural (PLN), models visuals, models multimodals, models de predicció i models de computació científica. Segona capa (L1): Consta de N grans models específics de la indústria. Aquests models s'entrenen utilitzant dades públiques de diverses indústries, com ara el govern, les finances, la indústria manufacturera, la mineria i el clima. A més, utilitza les dades pròpies dels clients de L0 i L1 per entrenar models propietaris adaptats per a cada client. Tercera capa (N2): Proporciona als clients models detallats específics per a cada escenari. Aquesta capa se centra en aplicacions específiques o necessitats empresarials, oferint serveis de models llestos per utilitzar.
Referències
Categoria:Aprenentatge automàtic