Veliki jezični model (engleski: large language model; LLM) je model umjetne inteligencije (obično umjetna neuronska mreža) treniran na ogromnoj količini teksta za zadatke obrade prirodnog jezika, posebno generiranja jezika. LLM-ovi mogu generirati, sažimati, prevoditi i analizirati tekst u raznim kontekstima. Osnova su mnogih modernih chatbotova, poput ChatGPT-a, Claudea, Geminija, Groka i DeepSeeka.
LLM-ovi se obično temelje na arhitekturi transformatora. Generativni unaprijed obučeni transformatori (GPT-ovi) vrsta su LLM-a koji su unaprijed trenirani za predviđanje sljedeće riječi. GPT-ovi se zatim često delikatno podešavaju kako bi slijedili upute i ponašali se kao asistenti.
Povijest
Prije pojave modela temeljenih na transformatorima 2017. godine, neki jezični modeli smatrali su se velikima u odnosu na računalna i podatkovna ograničenja svog vremena. Početkom 1990-ih, IBM-ovi statistički modeli uveli su tehnike poravnanja riječi za strojno prevođenje, postavljajući temelje za jezično modeliranje temeljeno na korpusu. Godine 2001., izglađeni n-gram model, poput onih koji koriste Kneser–Ney izglađivanje, treniran na 300 milijuna riječi, postigao je tada najbolje rezultate perpleksije na referentnim testovima. Tijekom 2000-ih, s porastom široko dostupnog pristupa internetu, istraživači su počeli sastavljati ogromne tekstualne skupove podataka s weba za treniranje statističkih jezičnih modela.
Prelazeći s n-gram modela, istraživači su od 2000. počeli koristiti neuronske mreže kao jezične modele. Nakon proboja dubokih neuronskih mreža u klasifikaciji slika oko 2012. godine, slične arhitekture prilagođene su za jezične zadatke. Godine 2016. Google je svoju uslugu prevođenja prebacio na neuronsko strojno prevođenje, zamjenjujući statističke modele temeljene na frazama dubokim povratnim neuronskim mrežama.
Na konferenciji NeurIPS 2017. godine, istraživači Googlea predstavili su arhitekturu transformera u svom prekretničkom radu „Pažnja je sve što trebate“. Sljedeće godine, 2018., predstavljen je BERT, koji je brzo postao „sveprisutan“. Iako izvorni transformer ima i enkoder i dekoder blokove, BERT je model samo s enkoderom. Akademska i istraživačka upotreba BERT-a počela je opadati 2023. godine, nakon brzog napretka u sposobnostima modela samo s dekoderom (poput GPT-a) u rješavanju zadataka putem promptanja.
Iako je model samo sa dekoderom GPT-1 predstavljen 2018. godine, upravo je GPT-2 2019. privukao široku pozornost jer je OpenAI tvrdio da ga je u početku smatrao previše moćnim za javno objavljivanje, iz straha od zlonamjerne upotrebe. GPT-3 2020. otišao je korak dalje i dostupan je samo putem API-ja, bez mogućnosti preuzimanja modela za lokalno pokretanje. No upravo je chatbot za krajnje korisnike ChatGPT krajem 2022. dobio opsežnu medijsku pokrivenost i javnu pozornost do 2023. GPT-4 iz 2023. pohvaljen je zbog povećane točnosti zbog svojih multimodalnih sposobnosti. OpenAI nije otkrio arhitekturu visoke razine ni broj parametara GPT-4. Objava ChatGPT-a dovela je do porasta upotrebe LLM-ova u nekoliko istraživačkih podpolja računalstva, uključujući robotiku, softversko inženjerstvo i istraživanje društvenog utjecaja. Godine 2024. OpenAI je objavio model rasuđivanja OpenAI o1, koji generira dugačke lance razmišljanja prije davanja konačnog odgovora. Razvijeni su mnogi LLM-ovi s brojevima parametara usporedivim s onima iz OpenAI-jeve GPT serije.
Predobrada skupa podataka Tokenizacija
Budući da algoritmi strojnog učenja obrađuju brojeve, a ne tekst, tekst se mora pretvoriti u brojeve. U prvom koraku određuje se rječnik, zatim se svakom unosu rječnika proizvoljno, ali jedinstveno dodjeljuju cjelobrojni indeksi, a na kraju se ugradnja povezuje s cjelobrojnim indeksom. Algoritmi uključuju kodiranje parova bajtova i WordPiece. Postoje i posebni tokeni koji služe kao kontrolni znakovi, poput [MASK] za maskirani token (kao u BERT-u) i [UNK] („nepoznato“) za znakove koji se ne pojavljuju u rječniku. Također, neki posebni simboli koriste se za označavanje posebnog oblikovanja teksta.
Tokenizacija također komprimira skupove podataka. Budući da LLM-ovi općenito zahtijevaju da ulaz bude niz koji nije nazubljen, kraći tekstovi moraju biti „dopunjeni“ dok ne dostignu duljinu najduljeg.
Čišćenje skupa podataka
U kontekstu treniranja LLM-ova, skupovi podataka se obično čiste uklanjanjem niskokvalitetnih, dupliciranih ili toksičnih podataka. Očišćeni skupovi podataka mogu povećati učinkovitost treniranja i dovesti do boljih rezultata. Trenirani LLM može se koristiti za čišćenje skupova podataka za treniranje daljnjih LLM-ova.
Izvori
Kategorija:Generativna umjetna inteligencija Kategorija:Potrošnja energije Kategorija:Energetska politika Kategorija:Voda i okoliš Kategorija:Utjecaj energetske industrije na okoliš Kategorija:Utjecaj na okoliš po izvoru