The Pile és un conjunt de dades divers i de codi obert de 886,03 GB de text en anglès creat com a conjunt de dades d'entrenament per a grans models de llenguatge (LLM). Va ser construït per EleutherAI el 2020 i llançat públicament el 31 de desembre d'aquell any. Està compost per 22 conjunts de dades més petits, inclosos 14 de nous.

Creació La formació de LLM requereix quantitats de dades prou grans que, abans de la introducció de la pila, la majoria de les dades utilitzades per a la formació de LLM es van extreure del Common Crawl. Tanmateix, els LLM formats en conjunts de dades més diversos són més capaços de gestionar una gamma més àmplia de situacions després de la formació. La creació de la pila va ser motivada per la necessitat d'un conjunt de dades prou gran que contingués dades d'una gran varietat de fonts i estils d'escriptura. En comparació amb altres conjunts de dades, les principals característiques distintives de la pila són que es tracta d'una selecció de dades seleccionada pels investigadors d'EleutherAI per contenir la informació que pensaven que els models lingüístics haurien d'aprendre i que és l'únic conjunt de dades que està documentat a fons pels investigadors que van desenvolupar això.

Continguts i filtratge +Les intel·ligències artificials no aprenen tot el que poden a partir de les dades de la primera passada, per la qual cosa és una pràctica habitual entrenar una IA amb les mateixes dades més d'una vegada amb cada passada per tot el conjunt de dades que s'anomena "època". A cadascun dels 22 subconjunts de dades que formen la pila se li va assignar un nombre diferent d'èpoques segons la qualitat percebuda de les dades. La taula següent mostra la mida relativa de cadascun dels 22 subconjunts de dades abans i després de ser multiplicats pel nombre d'èpoques. Els números s'han convertit a GB i s'utilitzen asteriscs per indicar els conjunts de dades recentment introduïts.

Subconjunts de dades de la pila ComponentMida originalÈpoquesMida efectivaPila-CC243,87 GB1243,87 GBPubMed Central *96,93 GB2193,86 GBLlibres 3108,40 GB1.5162,61 GBOpenWebText2*67,40 GB2134,80 GBarXiv *60,36 GB2120,71 GBGitHub *102,18 GB1102,18 GBLlei lliure *54,92 GB1.582,39 GBIntercanvi de pila *34,57 GB269,14 GBFons USPTO *24,59 GB249,19 GBResums de PubMed *20,68 GB241,37 GBGutenberg (PG-19)11,68 GB2.529,20 GBOpenSubtítols13,94 GB1.520,91 GBViquipèdia6,85 GB320,54 GBDeepMind Matemàtiques8,32 GB216,63 GBRegistres d'IRC d'Ubuntu Freenode *5,93 GB211,84 GBBookCorpus 2*6,76 GB1.510,15 GBEuroParl4,93 GB29,85 GBNotícies de pirates informàtics *4,19 GB28,38 GBSubtítols de YouTube *4,01 GB28,02 GBPhilPapers *2,56 GB25,11 GBNIH ExPorter*2,03 GB24,07 GBCorreus electrònics d'Enron0,95 GB21,89 GBTotal886,03 GB1346,69 GB EleutherAI va triar els conjunts de dades per tractar de cobrir una àmplia gamma de temes i estils d'escriptura, inclosa la redacció acadèmica, amb els quals es va trobar que els models formats en altres conjunts de dades tenien problemes.

Totes les dades utilitzades a la pila s'han extret de fonts d'accés públic. Aleshores, EleutherAI va filtrar el conjunt de dades en conjunt per eliminar els duplicats. Alguns subconjunts de dades també es van filtrar per al control de qualitat. Sobretot, el Pile-CC és una versió modificada del Common Crawl en què les dades es van filtrar per eliminar parts que no són text, com ara el format HTML i els enllaços.

Alguns possibles subconjunts de dades es van excloure per diversos motius, com ara el Registre del Congrés dels EUA, que es va excloure a causa del seu contingut racista.

Dins dels subconjunts de dades que es van incloure, els documents individuals no es van filtrar per eliminar el text no anglès, esbiaixat o profà. Tampoc es va filtrar sobre la base del consentiment, el que significa que, per exemple, el Pile-CC té els mateixos problemes ètics que el mateix Common Crawl. Tanmateix, EleutherAI ha documentat la quantitat de biaix (sobre la base del gènere, la religió i la raça) i la blasfemia, així com el nivell de consentiment donat per a cadascun dels subconjunts de dades, permetent a un investigador conscient de l'ètica utilitzar només aquestes parts. de la Pila que compleixen els seus propis estàndards.

Ús El Pile es va desenvolupar originalment per entrenar els models GPT-Neo d'EleutherAI però s'ha utilitzat àmpliament per entrenar altres models, inclòs el Megatron-Turing Natural Language Generation de Microsoft, Meta AI Open Pre-trained Transformers, LLaMA, i Galactica, BioMedLM 2.7B de la Universitat Stanford, Chinese-Transformer-XL de l'Acadèmia d'Intel·ligència Artificial de Beijing, i YaLM 100B de Yandex.

A més d'utilitzar-se com a conjunt de dades d'entrenament, la pila també es pot utilitzar com a punt de referència per provar models i puntuar el rendiment que tenen en diversos estils d'escriptura.

Referències

Categoria:Intel·ligència artificial