GPT-3 (acrònim anglès de Generative Pre-trained Transformer 3, transformador generador preentrenat) és un model de llenguatge autorregressiu que empra tècniques de l'aprenentatge profund per a desenvolupar textos que simulen la redacció humana. GPT-3 és la tercera generació creada per l'empresa-laboratori OpenAI dedicada a la recerca dins l'àmbit de la intel·ligència artificial, i molt usada en aplicacions d’IA poc exigents. Existeix una versió intermèdia GPT-3.5 i una versió avançada del model, anomenada GPT-4. El febrer de 2025 es va presentar la nova versió GPT-4.5, que incorpora millores significatives.
GPT-3 està format pels següents conjunts de dades preentrenats: Conjunt de dades (Dataset)Nombre d'Entrades (# Tokens)Percentatge del totalCommon Crawl410 mil milions60%WebText219 mil milions22%Books112 mil milions8%Books255 mil milions8%Viquipèdia3 mil milions3%
Referències
Vegeu també Model GPT-2 Categoria:Models de llenguatge gran