náhled|256px|vpravo|Vennův diagram ukazující aditivní a subtraktivní vztahy různých informačních měr přiřazených ke korelovaným proměnným a . Plocha pokrytá některou z kružnic je sdružená entropie . Kružnice vlevo (červená a fialová) je entropie , přičemž červená je podmíněná entropie . Kružnice vpravo (modrá a fialová) je , přičemž modrá je . Fialová je vzájemná informace .
Podmíněná entropie () v teorii informace kvantifikuje množství informace potřebné pro popsání výsledku náhodného pokusu , pokud je známá hodnota jiné náhodné proměnné . Měří se stejně jako informační entropie v bitech (kterým se v této souvislosti také říká „shannons“), někdy v „přirozených jednotkách“ (natech) nebo v desítkových číslicích (nazývaný „dits“, „bans“ nebo „hartleys“). Jednotka měření závisí na základu logaritmu použitého pro výpočet entropie.
Entropii podmíněnou zapisujeme , kde je velké řecké písmeno Éta.
Definice Podmíněná entropie , je-li dáno , je definována jako
kde a označuje nosič náhodných proměnných a .
Poznámka: při výpočtech se neurčité výrazy a pro pevné považují za rovné nule, protože a .
Intuitivní vysvětlení definice: Podle definice platí, že kde přiřazuje dvojici informační obsah , je-li dáno , což je množství informace potřebné pro popsání události , je-li dáno . Podle zákona velkýich čísel, je aritmetický průměr velkého počtu nezávislých realizací .
Motivace Nechť je entropie diskrétní náhodné proměnné podmíněná tím, že diskrétní náhodná proměnná nabývá hodnotu . Označme nosiče funkcí a a . Nechť má pravděpodobnostní funkci . Nepodmíněná entropie se spočítá jako , tj.
kde je informační obsah toho, že výsledek má hodnotu . Entropie podmíněná tím, že nabývá hodnotu , je definována podobně podmíněné očekávání:
Pamatujte, že je výsledek průměrování přes všechny možné hodnoty , kterých může nabývat . Také pokud se výše uvedený součet bere přes vzorek , očekávaná hodnota je známa v nějakém oboru jako ekvivokace ().
Jsou-li dány diskrétní náhodné proměnné s obrazem a s obrazem , podmíněná entropie , je-li dáno se definuje jako vážený součet pro každou možnou hodnotu , s použitím jako váhy:
Vlastnosti
Nulová podmíněná entropie právě tehdy, když hodnota je úplně určena hodnotou .
Podmíněná entropie of nezávislý náhodné proměnné Naopak právě tehdy, když a jsou nezávislé náhodné proměnné.
Řetízkové pravidlo Předpokládejme, že kombinovaný systém určený dvěma náhodnými proměnnými a má sdruženou entropii , tj. potřebujeme průměrně bitů informace pro popsání jeho přesného stavu. Pokud nejdříve zjistíme hodnotu , získali jsme bitů informace. Pokud je známé, potřebujeme pouze bitů pro popsání stavu celého systému. Tato hodnota se přesně rovná , kterou dává řetízkové pravidlo podmíněné entropie:
řetízkové pravidlo vyplývá z výše uvedené definice podmíněné entropie:
Řetízkové pravidlo platí obecně pro více náhodné proměnné:
Tento vztah se podobá řetízkovému pravidlu z teorie pravděpodobnosti, ale místo násobení využívá sčítání.
Bayesovo pravidlo Bayesovo pravidlo pro podmíněnou entropii říká
Důkaz: a . Symetrie má za následek . Odečtením obou rovnic dostaneme Bayesovo pravidlo.
Pokud je podmíněně nezávislé na , je-li dáno máme:
Další vlastnosti Pro jakékoli a :
kde je vzájemná informace mezi a .
Pro nezávislé a :
a
Přestože určitá podmíněná entropie může být menší i větší než pro dané náhodné variace , nemůže nikdy přesáhnout .
Podmíněná diferenciální entropie
Definice Výše uvedená definice platí pro diskrétní náhodné proměnné. Spojitá verze diskrétní podmíněné entropie se nazývá podmíněná diferenciální (nebo spojitá) entropie. Nechť a jsou spojité náhodné proměnné se sdruženou hustotou pravděpodobnosti . Diferenciální podmíněná entropie se definuje takto
Vlastnosti Oproti podmíněné entropii pro diskrétní náhodné proměnné může být podmíněná diferenciální entropie záporná.
Stejně jako v diskrétním případě platí řetízkové pravidlo pro diferenciální entropii:
Toto pravidlo však neplatí, pokud se příslušné diferenciální entropie neexistují nebo jsou nekonečné.
Sdružené diferenciální entropie se také používají v definici vzájemné informace mezi spojitými náhodnými proměnnými:
, přičemž rovnost nastává právě tehdy, když a jsou nezávislé.
Vztah k chybě odhad Podmíněné diferenciální entropie dává spodní mez očekávané druhé mocniny chyby odhadu. Pro jakoukoli náhodnou proměnnou , pozorování a odhad platí:
Což se podobá principu neurčitosti z kvantové mechaniky.
Zobecnění na kvantovou teorii V kvantové teorii informace se podmíněná entropie zobecňuje na podmíněnou kvantovou entropii, která na rozdíl od svého klasického protějšku může nabývat záporných hodnot.
Odkazy
Reference
Související články Informační entropie Vzájemná informace Podmíněná kvantová entropie Věrohodnostní funkce
Kategorie:Entropie a informace Kategorie:Teorie informace