Veliki jezikovni model (v angleščini LLM, large language model) je računalniški jezikovni model, sestavljen iz umetne nevronske mreže z mnogo parametri (desetin milijonov do milijard), ki so ga usposabljali s pomočjo zelo obsežnih količin neoznačenih besedil ob rabi samonadzorovanih ali polsamonadzorovanih metod. Veliki jezikovni modeli so se pojavili okoli leta 2018 in so se odlično izkazali pri širokem razponu raznovrstnih nalog, kar je težišče raziskav na področju obdelave naravnega jezika odmaknilo od starih pristopov, ki so temeljili na rabi specializiranih nadzorovanih modelov za posamezne vrste nalog.

Veliki jezikovni model sicer nima formalne definicije, najpogosteje pa se nanaša na modele globokega učenja z milijoni ali celo milijardami parametrov, ki so bili »predusposabljani« s pomočjo obsežnega učnega korpusa besedil. Gre za modele splošne namembnosti, ki zmorejo širok razpon nalog, ne le posamezne vrste nalog (npr. analiza razpoloženja, prepoznavanje imenovanih entitet ali matematično sklepanje). Spretnost, ki jo izkazujejo pri nalogah in razpon samih nalog, pri tem nista toliko odvisna od zasnove modela kot sta odvisna od same obsežnosti učnega korpusa, parametrov in procesorske moči.

Čeprav so modele usposabljali za preproste naloge, kot je napovedovanje naslednje besede v stavku, so se spotoma če sta bila učni korpus in število parametrov zelo obsežna implicitno naučili tudi skladnje in pomenoslovja samega človeškega jezika. Poleg tega se spotoma seznanijo z najbolj pogosto zastopanimi trditvami v korpusu, ki pa s seboj prinesejo tudi netočnosti in pristranskosti, ne le splošnega znanja o svetu.

Naknadni popravek

Pogosto je potreben naknadni popravek, saj sicer umetna nevronska mreža, kot odziv na iztočnico uporabnika 'Napiši esej o glavnih temah, zastopanih v Hamletu', namesto eseja samega napiše, 'Če boste esej oddali šele po 17. marcu, se vam bo šolska ocena zmanjšala za 10 % za vsak dan zamude' na podlagi pogostosti tega besedilnega sosledja v korpusu.

Šele z naknadnimi popravki se model nauči, kaj naj odziv na določene iztočnice vsebuje.

Raba zunanjih orodij

Nekaterih nalog veliki jezikovni modeli brez rabe zunanjih orodij oziroma dodatne programske opreme ne morejo rešiti. Zgled take naloge je odziv na uporabnikovo besedilo '354 * 139 = ' če seveda model v učnem korpusu ni že zasledil nadaljevanja prav tega računa. V nasprotnem si mora pomagati s poganjanjem programske kode, ki izračuna rezultat, da ga model lahko vključi v svoj odgovor. Še en zgled je 'Koliko je ura zdaj? Ura je ', kjer bi moral zunanji program pognati kodo za trenutni čas na računalniku, tako da bi ga model lahko vključil v svoj odgovor.

Opombe

Sklici

Glej tudi

ustvarjanje iztočnic

Zunanje povezave

Kategorija:Umetna inteligenca