V teorii pravděpodobnosti existuje několik různých pojmů konvergence náhodných proměnných. Konvergence posloupnosti náhodných proměnných k nějaké limitní náhodné proměnné je důležitým konceptem v teorii pravděpodobnosti, a v jejích aplikacích na statistiku a náhodné procesy. Stejné koncepty jsou známy v matematice obecněji jako stochastická konvergence a formalizují očekávání, že chování posloupnosti v zásadě náhodných nebo nepředpověditelných událostí se někdy může ustálit do formy, která se v zásadě nemění, když zkoumáme položky, které jsou v posloupnosti dostatečně daleko. Různé typy konvergence se odvíjejí od toho, jak lze takové chování charakterizovat: dva snadno představitelné případy jsou, že posloupnost začne být od určitého členu konstantní, nebo že hodnoty posloupnosti se budou dále měnit, ale bude možné je popsat nějakým pevným rozdělením pravděpodobnosti.
Pozadí „Stochastická konvergence“ formalizuje myšlenku, že můžeme očekávat, že posloupnost v zásadě náhodných nebo nepředpověditelných událostí se někdy může ustálit a vyhovovat určitému vzoru. Tímto vzorem může například být Konvergence v klasickém smyslu k pevné hodnotě, která snad vychází z náhodné události Rostoucí podobnost výsledků s tím, co by produkovala čistě deterministická funkce Rostoucí preference k určitému výsledku Rostoucí „odpor“ proti odchylce od určitého výsledku Že rozdělení pravděpodobnosti popisující další výsledek se může postupně stále více podobat určitému rozdělení
K méně zjevným, teoretičtějším, vzorům patří Že posloupnost středních hodnot vzdáleností výsledku od určité hodnoty může konvergovat k 0 Že rozptyl náhodné veličiny popisující další událost se zmenšuje. Tyto další typy vzorů, které se mohou objevit, jsou popsány různými typy stochastické konvergence, které se zkoumají.
Zatímco výše uvedená diskuze se týkala konvergence jedné posloupnosti k limitní hodnotě, důležitý je také pojem konvergence dvou posloupností k sobě navzájem. Ten však lze snadno převést na studium posloupnosti definované jako rozdíl anebo poměr dvou posloupností.
Pokud je například průměr n statisticky nezávislých náhodných proměnných Yi, i = 1…, n, které všechny mají stejnou konečnou střední hodnotu a rozptyl, popsán vztahem
pak, když se n blíží k nekonečnu, konverguje v pravděpodobnosti (viz níže) ke společné střední hodnotě μ, náhodných proměnných Yi. Tento výsledek je znám jako „slabý zákon velkých čísel“. Jiné formy konvergence jsou důležité v jiných užitečných větách, včetně centrální limitní věty.
V následujícím textu předpokládáme, že (Xn) je posloupnost náhodných proměnných a X je náhodná proměnná, přičemž všechny jsou definované na stejném pravděpodobnostním prostoru .
Konvergence v rozdělení
U tohoto typu konvergence stále více očekáváme, že uvidíme, že další výsledek v posloupnosti náhodných pokusů budou lépe modelovat daným rozdělením pravděpodobnosti.
Konvergence v rozdělení je nejslabším z typů konvergence se kterými se běžně pracuje, protože vyplývá ze všech dalších typů konvergence, které popisuje tento článek. Konvergence v rozdělení se však často používá v praxi; nejčastěji se objevuje při použití centrální limitní věty.
Definice O posloupnosti reálných náhodných proměnných řekneme, že konverguje v rozdělení nebo konverguje slabě nebo konverguje v zákoně k náhodné proměnné , pokud
pro každou hodnotu v níž je funkce spojitá. a jsou distribuční funkce náhodných proměnných , resp. .
Požadavek, uvažovat pouze body, v nichž je funkce spojitá, je nutný. Pokud například mají rovnoměrné rozdělení na intervalech , pak tato posloupnost konverguje v rozdělení k degenerované náhodné proměnné . Protože pro všechna n, když , a pro všechna když . Ale, pro tuto limitní náhodnou proměnnou , přestože pro všechna . Konvergence distribuční funkce tedy selže v bodě , kde je funkce nespojitá.
Konvergence v rozdělení se značí
kde je zákon (rozdělení pravděpodobnosti) proměnné . Pokud například je standardní normální rozdělení, můžeme psát .
Pro náhodné vektory je konvergence v rozdělení definována podobně. Říkáme, že tato posloupnost konverguje v rozdělení k náhodnému -vektoru pokud
pro každé , které je množinou spojitosti proměnné .
Definice konvergence v rozdělení může být rozšířena z náhodných vektorů na obecnější náhodné prvky v libovolných metrických prostorech, a dokonce i na „náhodné proměnné“, které nejsou měřitelné, což je situace, která se objevuje například při studiu empirických procesů. To je „slabá konvergence rozdělení bez toho, že by rozdělení bylo definováno jinak než asymptoticky“.
V tomto případě je vhodnější termín slabá konvergence (viz slabá konvergence míry), a říkáme, že posloupnost náhodných prvků konverguje slabě k (značíme ), pokud
pro všechny spojité omezené funkce . E* zde označuje vnější očekávanou hodnotu, což je očekávaná hodnota „nejmenší měřitelné funkce , která dominuje “.
Vlastnosti Protože , konvergence v rozdělení znamená, že pravděpodobnost je v daném rozsahu přibližně rovna pravděpodobnosti, že hodnota je v tomto rozsahu, za předpokladu, že je dostatečně velké. Konvergence v rozdělení obecně neznamená, že posloupnost odpovídajících hustot pravděpodobnosti bude také konvergovat. Jako příklad můžeme uvažovat náhodné proměnné s hustotami . Tyto náhodné proměnné konvergují v rozdělení k rovnoměrnému rozdělení U(0, 1), zatímco jejich hustoty nekonverguje vůbec. Ale, podle Schefféovys věty, konvergence hustot pravděpodobností implikuje konvergenci v rozdělení. Portmanteauovo lemma poskytuje několik ekvivalentních definic konvergence v rozdělení. Tyto definice jsou sice méně intuitivní, ale používají se pro důkaz několika statistických vět. Lemma říká, že konverguje v rozdělení k právě tehdy, když je splněno libovolné z následujících tvrzení: pro všechny body spojitosti funkce ; pro všechny omezené, spojité funkce (kde označuje operátor střední hodnoty); pro všechny omezené Lipschitzovské funkce ; pro všechny nezáporné spojité funkce ; pro každou otevřenou množinu ; pro každou uzavřenou množinu ; pro všechny množiny spojitosti náhodné proměnné ; pro každou shora polospojitou funkci omezenou shora; pro každou zdola polospojitou funkci omezenou zdola. Věta o spojitém zobrazení říká, že pro spojité funkce , pokud posloupnost konverguje v rozdělení k , pak konverguje v rozdělení k . Všimněte si však, že konvergence v rozdělení proměnné k a k obecně neznamená konvergenci v rozdělení k nebo k . Lévyho věta o spojitosti: posloupnost konverguje v rozdělení k právě tehdy, když posloupnost odpovídajících charakteristických funkcí konverguje bodově k charakteristické funkci proměnné . Konvergence v rozdělení je metrizovatelná pomocí Lévyho–Prochorovovy metriky. Přirozený odkaz na konvergenci v rozdělení je Skorochodova věta o reprezentaci.
Konvergence v pravděpodobnosti
Základní myšlenka za tímto typem konvergence je, že pravděpodobnost „neobvyklého“ výsledku se s prodlužováním posloupnosti zmenšuje.
Koncept konvergence v pravděpodobnosti se používá velmi často ve statistice. Například odhad se nazývá konzistentní, pokud konverguje v pravděpodobnosti k hodnotě, která je odhadována. Konvergence v pravděpodobnosti je také typem konvergence, která se používá v zákonu velkých čísel.
Definice Posloupnost {Xn} náhodných proměnných konverguje v pravděpodobnosti k náhodné proměnné X, pokud pro všechna ε > 0
Podrobněji: nechť Pn(ε) je pravděpodobnost, že Xn je mimo kouli o poloměru ε se středem v X. Pak o posloupnosti řekneme, že konverguje v pravděpodobnosti k X, pokud pro jakékoli a jakékoli δ > 0 existuje číslo N (které může záviset na ε a δ) takové, že pro všechna n ≥ N, Pn(ε) < δ (definice limity).
Všimněte si, že aby podmínka byla splněna, není možné, aby pro každé n byly náhodné proměnné X a Xn nezávislé (a tedy konvergence v pravděpodobnosti je podmínkou na sdružené distribuční funkce, čímž se liší od konvergence v rozdělení, která je podmínkou na jednotlivé distribuční funkce), pokud žádné X není deterministické jako pro slabý zákon velkých čísel. Zároveň případ deterministického X nemůže být, když je deterministickou hodnotou (neizolovaný) bod diskontinuity, proveden na konvergenci v rozdělení, kde body diskontinuity musejí být explicitně vynechané.
Konvergence v pravděpodobnosti se značí písmenem p nad šipkou značící konvergenci nebo pomocí operátoru „plim“ pravděpodobnostní limity:
Pro náhodné prvky {Xn} na separabilním prostoru je konvergence v pravděpodobnosti definována podobně vztahem
Vlastnosti Konvergence v pravděpodobnosti implikuje konvergence v rozdělení.[důkaz] V opačném směru konvergence v rozdělení implikuje konvergenci v pravděpodobnosti, když limitní náhodná proměnná X je konstanta.[důkaz] Konvergence v pravděpodobnosti neznamená konvergenci skoro jistě.[důkaz] Věta o spojitém zobrazení říká, že pro každou spojitou funkci , pokud , pak také Konvergence v pravděpodobnosti definuje topologii na prostoru náhodných proměnných nad pevným pravděpodobnostním prostorem. Toto topologie je metrizovatelná Ky Fanovou metrikou: případně metrikou
Konvergence skoro jistě
Tento typ stochastické konvergence se nejvíce podobá bodové konvergenci používané v elementární reálné analýze.
Definice Řekneme, že posloupnost konverguje skoro jistě nebo skoro všude nebo s pravděpodobností 1 nebo silně k X, pokud
To znamená, že hodnoty se blíží k hodnotě X, v tom smyslu (viz skoro jistě), že jevy, pro které nekonverguje k X mají pravděpodobnost 0. Pokud použijeme pravděpodobnostní prostor a koncept náhodné proměnné jako funkce z Ω do R, je tato definice ekvivalentní s
Pomocí pojmu limes superior posloupnosti množin můžeme konvergenci skoro jistě definovat také takto:
Konvergence skoro jistě se často označuje přidáním písmen s.j. () nad šipku značící konvergenci:
Pro obecné náhodné prvky {Xn} na metrickém prostoru je konvergence skoro jistě definována podobně:
Vlastnosti Konvergence skoro jistě implikuje konvergenci v pravděpodobnosti (podle Fatouova lemmatu), a tedy implikuje konvergenci v rozdělení. Je to pojem konvergence používaný v silném zákonu velkých čísel. Koncept konvergence skoro jistě nepochází z topologie na prostoru náhodných proměnných. To znamená, že na prostoru náhodných proměnných neexistuje žádná topologie taková, že skoro jistě konvergentní posloupnosti podle této topologie konvergují přesně. Speciálně neexistuje žádná metrika konvergence skoro jistě.
Jistá konvergence nebo bodová konvergence Řekneme, že posloupnost náhodných veličin (Xn) definovaných na stejném pravděpodobnostním prostoru (tj. náhodný proces) konverguje jistě nebo všude nebo bodově k X pokud
kde Ω je prostor elementárních jevů podkladových Pravděpodobnostní prostor, na němž jsou náhodné proměnné definované.
Jedná se o rozšíření pojmu bodové konvergence posloupnosti funkcí na posloupnost náhodných veličin. (Náhodné veličiny samy o sobě jsou funkcemi).
Jistá konvergence náhodné proměnné implikuje všechny další druhy konvergence uvedené výše, ale v teorii pravděpodobnosti nepřináší jistá konvergence žádnou výhodu v porovnání s konvergencí skoro jistě. Tyto dva druhy konvergence se liší pouze na množinách míry nula. To je důvodem, proč se koncept jisté konvergence náhodných proměnných používá velmi zřídka.
Konvergence ve střední hodnotě Je-li dáno reálné číslo , pak řekneme, že posloupnost konverguje v r-té střední hodnotě (nebo v Lr-normě) k náhodné proměnné X, pokud existují -té absolutní momenty E(|Xn|r ) a E(|X|r ) proměnných a X, a
kde operátor E označuje střední hodnotu. Konvergence v -té střední hodnotě nám říká, že očekávaná hodnota -té mocniny rozdílu mezi a konverguje k nule.
Tento typ konvergence se obvykle značí písmenem Lr nad šipkou značící konvergenci:
Nejdůležitější případy konvergence v r-té střední hodnotě jsou: Když konverguje v r-té střední hodnotě k X pro r = 1, říkáme, že konverguje ve střední hodnotě k X.