The Pile é um conjunto de dados (dataset) de texto em inglês, de código aberto e diversificado, com 886 GB de tamanho, criado especificamente como um conjunto de dados de treinamento para modelos de linguagem grandes (LLMs). O córpus foi construído pela EleutherAI em 2020 e lançado publicamente em 31 de dezembro daquele ano. O córpus é composto por 22 subconjuntos de dados componentes. O The Pile e o Common Crawl consolidaram-se, até 2024, como as duas principais bases de dados utilizadas para o treinamento de modelos de inteligência artificial de grande porte.
As disputas de direitos autorais centradas no uso do The Pile intensificaram-se em 2023, levando a EleutherAI a iniciar a remoção de alguns subconjuntos de dados específicos. Posteriormente, a EleutherAI firmou parcerias com diversas organizações acadêmicas e de tecnologia para lançar o *Common Pile v0.1* em 2025, com o objetivo de fornecer um córpus massivo e curado de treinamento que fosse totalmente isento de problemas de direitos autorais.
Treinamento em obras protegidas por direitos autorais ou derivados O componente Books3 do conjunto de dados contém materiais protegidos por direitos autorais que foram compilados a partir do Bibliotik, um site de pirataria digital. Em julho de 2023, o grupo antipirataria dinamarquês *Rights Alliance* removeu o Books3 da internet por meio de notificações baseadas na DMCA.
O subconjunto Books3 foi formalmente removido do The Pile antes que uma ação civil coletiva fosse movida em 2024 por três autores que buscavam indenizações por danos, uma vez que cópias do conjunto de dados original continuavam sendo replicadas e distribuídas em outros pontos da web. Por volta de 2024, a base de dados do The Pile também foi retirada de seu site de hospedagem original, embora continuasse acessível através de serviços alternativos de compartilhamento de arquivos de terceiros.
O OpenSubtitles é outro subconjunto presente no The Pile que gerou controvérsias significativas devido ao uso de obras protegidas por direitos autorais, abrangendo neste caso legendas de documentários, filmes, produções de televisão e vídeos publicados em plataformas online.
Adicionalmente, dezenas de milhares de vídeos do YouTube tiveram suas legendas extraídas diretamente da plataforma via raspagem de dados (scraping) para inclusão no The Pile, uma prática que o YouTube declarou violar diretamente os seus termos de serviço de uso da plataforma.
+ Subconjuntos de dados componentes do The Pile (* denota componentes envolvidos em disputas de direitos autorais) Componente Tamanho original (GB) Pile-CC 243,87 PubMed Central* 96,93 Books3 108,40 OpenWebText2* 67,40 arXiv* 60,36 GitHub* 102,18 Free Law* 54,92 Stack Exchange* 34,57 USPTO Backgrounds* 24,59 PubMed Abstracts* 20,68 Gutenberg (PG-19) 11,68 OpenSubtitles 13,94 Wikipédia 6,85 DeepMind Mathematics 8,32 Registros de IRC do Ubuntu no Freenode* 5,93 BookCorpus2* 6,76 EuroParl 4,93 Hacker News* 4,19 Legendas do YouTube* 4,01 PhilPapers* 2,56 NIH ExPorter* 2,03 E-mails da Enron 0,95 Total 886,03
Common Pile v0.1 Em junho de 2025, a EleutherAI, em parceria com a Poolside, Hugging Face, a Biblioteca do Congresso dos Estados Unidos e mais de duas dezenas de pesquisadores vinculados a 14 instituições acadêmicas — incluindo a Universidade de Toronto, o Instituto de Tecnologia de Massachusetts (MIT), a Universidade Carnegie Mellon (CMU), o *Vector Institute* do Canadá e o Allen Institute for AI — lançou o Common Pile v0.1. Trata-se de um conjunto de dados de treinamento que contém estritamente obras cujas licenças autorizam explicitamente o uso para o desenvolvimento de modelos de inteligência artificial.
O propósito central da iniciativa foi demonstrar a viabilidade prática do treinamento ético de sistemas de IA respeitando integralmente as leis de propriedade intelectual e direitos autorais. Os pesquisadores reportaram que o processo de coleta e auditoria dos dados não pôde ser completamente automatizado e foi, em muitos momentos, minucioso, exigindo que equipes humanas verificassem e anotassem cada entrada individualmente. Constatou-se também que os modelos resultantes treinados no Common Pile foram capazes de alcançar desempenhos impressionantes, embora ainda não fossem diretamente comparáveis aos modelos de fronteira comerciais treinados sem restrições de propriedade intelectual.
Ver também Lista de assistentes virtuais de inteligência artificial Lista de conjuntos de dados para pesquisa em aprendizado de máquina
Referências
Categoria:Aprendizagem de máquina Categoria:Conjuntos de dados em aprendizado de máquina