thumb|right|400px|Prikaz zakona velikih števil z določeno izvedbo metov ene igralne kocke. Ko se število metov v tej izvedbi veča, se srednje vrednosti vseh rezultatov približujejo vrednosti 3,5. Čeprav bo vsaka izvedba z malih številom metov (na levi) kazala razločno obliko, bo oblika večjega števila metov (na desni) skrajno podobna.
Zákon velíkih števíl je v verjetnostnem računu in statistiki osnovni limitni izrek, ki opisuje rezultat izvajanja istega poskusa zelo velikokrat. Po zakonu mora biti srednja vrednost rezultatov, pridobljenih iz velikega števila poskusov, blizu pričakovane vrednosti, njena vrednost pa se vedno bolj približuje pričakovani vrednosti, če se izvaja vedno več poskusov.
Zakon velikih števil je pomemben, saj zagotavlja stabilne dolgoročne rezultate za srednje vrednosti poljubnih naključnih dogodkov. Čeprav bo mogoče na primer kazina v enem zasuku kolesa rulete izgubila denar, se bodo z velikim številom zasukov vrednosti njenih zaslužkov približevale napovedljivemu odstotku. Vsak zmagovalni niz igralca bodo premagali parametri igre. Pomembno si je zapomniti, da zakon velja le, (kakor nakazuje tudi njegovo ime), kadar se obravnava veliko število opazovanj. Ne obstaja načelo, da bo malo število opazovanj sovpadalo s pričakovano vrednostjo, ali, da bo zmagovalni niz ene vrednosti takoj »uravnotežen« z drugimi (glej hazarderska zmota).
Zgledi
Met igralne kocke
Vsak met poštene (šeststrane) igralne kocke bo dal zalogo vrednosti števil , vsako z enako verjetnostjo in funkcijo verjetnosti . Tako je pričakovana vrednost povprečne vrednosti metov enaka:
Pričakovani standardni odklon je enak:
Po zakonu velikih števil, če se vrže veliko metov poštene igralne kocke, bo srednja vrednost njihovih vrednosti (včasih imenovana vzorčna sredina) zelo verjetno blizu vrednosti 3,5 z večjo točnostjo pri večjem številu metov.
Iz zakona velikih števil sledi, da bo empirična verjetnost ugodnega izida v nizu Bernoullijevih poskusov konvergirala k teoretični verjetnosti. Za Bernoullijevo slučajno spremenljivko je pričakovana vrednost teoretična verjetnost ugodnega izida, srednja vrednost takšnih spremenljivk, kjer se privzame, da so neodvisne in enakomerno porazdeljene (n.e.p.), pa je ravno relativna frekvenca (empirična verjetnost).
Met kovanca
Met poštenega kovanca je na primer Bernoullijev poskus. Tu je . Ko se pošteni kovanec vrže enkrat, bo teoretična verjetnost, da bo padla številka, enaka . Zato bo po zakonu velikih števil razmerje padlih številk v »velikem« številu metov kovanca v grobem enako . Še posebej bo razmerje padlih številk po metih skoraj gotovo konvergiralo k , ko se bo približeval neskončnosti.
Čeprav se razmerje padlih številk (cifer) (in grbov (glav, mož)) približuje , bo absolutna razlika števila padlih številk in grbov skoraj gotovo postala velika, ko bo število metov postalo veliko. Zato se verjetnost, da je absolutna razlika majhno število, približuje nič, ko število metov postane veliko. Tudi razmerje med absolutno razliko in številom metov se bo skoraj gotovo približevalo ničli:
Pričakovana razlika intuitivno narašča, vendar v manjši meri kot število metov.
Metode Monte Carlo
Drugi dober zgled je zakon velikih števil metode Monte Carlo. Te metode so širok razred izračunavalnih algoritmov, ki se za pridobitev numeričnih rezultatov zanašajo na naključno vzorčenje. Večje je število ponovitev, boljša bo aproksimacija. Razlog, da je ta metoda pomembna, je v glavnem v tem, da je včasih težko ali nemogoče uporabiti druge pristope.
Omejitev
Srednja vrednost rezultatov, pridobljenih z velikim številom poskusov, v nekaterim primerih morda ne bo konvergirala. Srednja vrednost rezultatov iz Cauchyjeve porazdelitve ali nekaterih Paretovih porazdelitev (s pomembnostjo ) na primer ne bodo konvergirale, ko bo narastel čez vse meje – razlog je porazdelitev s težkimi repi. Cauchyjeva in Paretova porazdelitev predstavljata dva primera – Cauchyjeva porazdelitev nima pričakovanja, pričakovanje Paretove porazdelitve () pa je neskončno. V drugem primeru so naključna števila enaka tangenti kota, enakomerno porazdeljenega med −90° in +90°. Mediana je enaka nič, pričakovana vrednost pa ne obstaja – povprečje takšnih spremenljivk ima res enako porazdelitev kot ena takšna spremenljivka. Verjetnostno ne konvergira proti nič (ali h katerikoli drugi vrednosti), ko gre proti neskončnosti.
Zgodovina thumb|right|250px|Difuzija je zgled zakona velikih števil. Na začetku obstajajo raztopljene molekule na levi strani pregrade (škrlatna črta) in nobena na desni strani. Pregrada se odstrani in raztopina difundira po celotni posodi. Na vrhu: z eno molekulo je gibanje videti precej naključno. V sredini: z več molekulami je razvidna jasna tendenca, kjer raztopina polni posodo vedno bolj enakomerno z občasnimi naključnimi fluktuacijami. Spodaj: z velikanskim številom raztopljenih molekul (preveč, da bi se videle), nakjučnost bistveno izgine – raztopina, kot je videti, se giblje gladko in sistematično iz območij z visoko koncentracijo v območja z nizko koncentracijo. V stvarnih razmerah lahko kemiki opišejo difuzijo kot deterministični makroskopski fenomen (glej difuzijski zakon], navkljub njeni podvrženi naključni naravi.
Italijanski matematik Gerolamo Cardano (1501–1576) je brez dokaza navedel, da se točnosti empiričnih statistik izboljšujejo z večjim številom poskusov. To je bilo potem formalizirano kot zakon velikih števil. Cardanova matematika je pripadala obdobju v katerem se je izraz slutil s pomočjo formul. Zakona eksplicitno na ta način ni zmogel zapisati, vendar se bo po njem dogodek zgodil z vrednostjo, ki je blizu , če je verjetnost zanj in veliko število ponavljanj.
Posebno obliko zakona velikih števil (za dvojiško slučajno spremenljivko) je prvi dokazal Jakob Bernoulli. Za razvoj dovolj strogega matematičnega dokaza je potreboval 20 let. Objavil ga je v četrtem delu svojega dela Umetnost domnevanja (Ars Conjectandi) leta 1713. To je imenoval »zlati izrek«, vendar je postal splošno znan kot »Bernoullijev izrek«. Ne sme se zamenjevati z Bernoullijevim načelom, imenovanim po njegovem nečaku Danielu Bernoulliju. Verjetnost po tem ni bila le matematični abstraktni koncept, ampak je bila količina, ki se je lahko z naraščajočim številom vzorcev ocenila s povečanim zaupanjem. Leta 1837 je Siméon-Denis Poisson izrek naprej opisal pod imenom »zakon velikih števil« (»«). Tako je bil zakon znan pod obema imenoma, vendar se »zakon velikih števil« rabi pogosteje.
Po objavi Bernoullijevih in Poissonovih prizadevanj so tudi drugi matematiki prispevali k prečiščenju zakona, med drugim Čebišov, Markov, Borel, Cantelli in Kolmogorov ter Hinčin. Čebišov je podal splošno formulacijo zakona velikih števil – če so pričakovane vrednosti niza slučajnih spremenljivk in kvadrati teh pričakovanj v celoti končni, bo aritmetična sredina z njihovo rastjo zelo verjetno konvergirala k aritmetični sredini njihovih pričakovanj. Markov je pokazal, da se lahko zakon uporabi za slučajno spremenljivko, ki pod določenim drugim šibkejšim privzetkom nima končne variance, Hinčin pa je leta 1929 pokazal, da, če je vrsta sestavljena iz neodvisno enakomerno porazdeljenih slučajnih spremenljivk, je dovolj, da za veljavnost šibkega zakona velikih števil pričakovana vrednost obstaja. Ta nadaljnja raziskovanja so dala dve pomembni obliki zakona velikih števil. Ena se imenuje »šibki« zakon, druga pa »krepki« zakon, glede na dva različna načina konvergence kumulativne vzorčne sredine k pričakovani vrednosti – še posebej, kakor je pojasnjeno spodaj – iz krepke oblike sledi šibka oblika zakona.
Dve obliki zakona
Obstajata dve različni različici zakona velikih števil, ki sta opisani spodaj. Imenujeta se krepki zakon velikih števil in šibki zakon velikih števil. Zakona za primer kjer je neskončno zaporedje neodvisnih in enakomerno porazdeljenih slučajnih spremenljivk integrabilnih po Lebesgu s pričakovano vrednostjo v obeh oblikah pravita, da z navidezno gotovostjo vzorčna sredina:
konvergira k pričakovani vrednosti :
| cellpadding="5" style="border:2px solid #50c878; background: #ecfcf4; text-align: left;" | || (1. zakon)
(Integrabilnost po Lebesgu pomeni, da pričakovana vrednost obstaja glede na Lebesguov integral in je končna. Ne pomeni, da je povezana mera verjetnosti absolutno zvezna glede na Lebesguovo mero.)
Na podlagi (nepotrebnega – glej spodaj) privzetka o končni varianci (za vsak ) in brez korelacije med slučajnimi spremenljivkami, je varianca srednje vrednosti slučajnih spremenljivk enaka:
Ta privzetek o končni varianci ni potreben. Zaradi večje ali neskončne variance bo konvergenca počasnejša, zakon velik števil pa bo vseeno veljal. Ta privzetek se pogosto rabi, saj so dokazi lažji in krajši.
Obojestranska neodvisnost slučajnih spremenljivk se lahko zamenja z neodvistnostjo po parih v obeh različicah zakona.
Razliko med krepko in šibko različico upošteva način konvergence, ki se obravnava. Za interpretacijo teh načinov glej konvergenca slučajnih spremenljivk.
Šibki zakon thumb|right|Simulacija, ki prikazuje zakon velikih števil. V vsakem koraku se vrže kovanec, ki je na eni strani rdeč, na drugi pa moder. V ustrezni stolpec se doda pika. Tortni diagram kaže razmerje med rdečo in modro barvo strani kovanca, vrženega do tedaj. V začetku se razmerje sicer zelo spreminja, potem pa se z večanjem števila metov približuje vrednosti 50 %.
Šibki zakon velikih števil (imenovan tudi Hinčinov zakon) pravi, da vzorčna sredina verjetnostno konvergira k pričakovani vrednosti:
| cellpadding="5" style="border:2px solid #50c878; background: #ecfcf4; text-align: left;" | || (2. zakon)
Tako za poljubno pozitivno število velja:
Šibki zakon ob opisu tega rezultata pravi, da bo za poljubno neničelno mejo, ne glede na to kako majhna je, z dovolj velikim vzorcem obstajala zelo velika verjetnost, da bo srednja vrednost opazovanj blizu pričakovane vrednosti – to je znotraj te meje.
Kakor je omenjeno prej, šibki zakon velja za primer neodvisnih in enakomerno porazdeljenih slučajnih spremenljivk, velja pa tudi v nekaterih drugih primerih. Varianca je lahko na primer za vsako slučajno spremenljivko v nizu različna, pri čemer je pričakovana vrednost konstantna. Če je varianca omejena, zakon velja, kakor je pokazal Čebišov že leta 1867. (Če se pričakovane vrednosti med nizom spreminjajo, se lahko zakon preprosto uporabi za povprečni odmik od ustrezne pričakovane vrednosti. Zakon potem pravi, da to verjetnostno konvergira k nič.) Dejansko dokaz Čebišova deluje tako dolgo, dokler gre varianca povprečja prvih vrednosti proti nič, ko gre proti neskončnosti. Naj se na primer privzame, da za vsako slučajno spremenljivko v nizu velja Gaussova porazdelitev s srednjo vrednostjo enako 0, vrednostjo variance pa , ki ni omejena. V vsakem koraku bo povprečje normalno porazdeljeno (kot povprečje množice normalno porazdeljenih sprememnljivk). Varianca vsote je enaka vsoti varianc, ki je asimptota k . Varianca povprečja je tako asimptotična k in gre k nič.
Obstajajo tudi primeri šibkega zakona, ki velja četudi pričakovana vrednost ne obstaja.
Krepki zakon
Krepki zakon velikih števil (imenovan tudi zakon Kolmogorova) pravi, da vzorčna sredina skoraj gotovo konvergira k pričakovani vrednosti:
| cellpadding="5" style="border:2px solid #50c878; background: #ecfcf4; text-align: left;" | || (3. zakon)
Tako velja:
To pomeni, da je verjetnost, da bo srednja vrednost opazovanj konvergirala k pričakovani vrednosti, ko gre število poskusov proti neskončnosti, enaka 1.
Dokaz je bolj zapleten od dokaza šibkega zakona. Ta zakon opravičuje intuitivno interpretacijo pričakovane vrednosti (le za Lebesguov integral) slučajne spremenljivke, ko se večkrat vzorči kot »povprečje na dolgi rok«.