náhled|300px|Dva bity entropie: Při dvou hodech poctivou mincí je informační entropie vyjádřená v bitech logaritmus o základu 2 počtu možných výsledků; při hodu dvěma mincemi existují čtyři možné výsledky, což odpovídá dvěma bitům entropie. Informační entropie je obecně průměrné množství informace obsažené v události, pokud uvažujeme všechny možné výsledky.
Informační nebo též shannonovská entropie je střední hodnota množství informace připadající na jeden symbol generovaný stochastickým zdrojem dat.
Míra informační entropie přiřazená ke každé možné datové hodnotě je záporným logaritmem pravděpodobnostní funkce dané hodnoty:
kde je střední hodnota definovaná pravděpodobností .
Když datový zdroj vyprodukuje hodnotu (symbol), která má nízkou pravděpodobnost (tj. nastane událost s nízkou pravděpodobností), nese tato událost více „informace“ (způsobí větší „překvapení“), než vyprodukování hodnoty, která má pravděpodobnost vysokou. Pokud množství informace, které nese každá událost, považujeme za náhodnou veličinu, informační entropie je střední hodnota této náhodné události.
Entropie obecně vyjadřuje neuspořádanost nebo nejistotu, a definice entropie používaná v teorii informace je přímou analogií entropie používané ve statistické termodynamice. Koncept informační entropie představil Claude Shannon v roce 1948 ve svém článku „A Mathematical Theory of Communication". (PDF, archivováno z původního zdroje)
Základní model systému datové komunikace obsahuje tři prvky: zdroj dat, komunikační kanál a přijímač a – jak vyjádřil Shannon – „základním problémem komunikace“ je, aby přijímač byl schopen ze signálu, který přijímá z přenosového kanálu, identifikovat, jaká data byla vygenerovaná zdrojem., červenec a říjen Entropie vyjadřuje absolutní dolní mez průměrné délky bezztrátového kódování dat vytvářených zdrojem. Pokud je entropie zdroje menší než kapacita komunikační kanálu, je možné data generovaná zdrojem spolehlivě přenést k přijímači (alespoň teoreticky, případně se zanedbáním určitých praktických kritérií jako například času potřebného pro přenos dat a složitosti systému k tomuto účelu).
Informační entropie se nejčastěji měří v bitech (kterým se v této souvislosti také říká „shannons“), někdy v „přirozených jednotkách“ (natech) nebo v desítkových číslicích (nazývaný „dits“, „bans“ nebo „hartleys“). Jednotka měření závisí na základu logaritmu použitého pro výpočet entropie.
Logaritmus rozdělení pravděpodobnosti je vhodný jako míra entropie, protože pro nezávislé zdroje je aditivní. Například entropie vrhu poctivou mincí je 1 bit a entropie vrhů je bitů. V přímočaré reprezentaci je potřeba bitů pro reprezentaci proměnné, která může nabývat jedné z hodnot, jestliže je mocninou dvojky, tj. . Pokud jsou všechny hodnoty stejně pravděpodobné, entropie (v bitech) bude . Pokud se jedna z hodnot bude objevovat častěji než ostatní, pozorování této hodnoty je méně informativní, než kdyby došlo k méně obvyklému výsledku. Naopak pozorování vzácnější události poskytuje více informace. Protože pozorování méně pravděpodobných událostí se objevují méně často, způsobují, že entropie (braná jako průměrná informace) pocházející z nerovnoměrně distribuovaných dat je vždy menší nebo rovna . Entropie je nulová, pokud je jisté, že nastane jedna určitá událost. Entropie je veličina, která kvantifikuje tato kritéria pro známé rozdělení pravděpodobnosti zdrojových dat. Entropie nezávisí na obsahu pozorovaných událostí (významu zprávy), ale bere v úvahu pouze pravděpodobnosti jejich výskytu. To znamená, že entropie závisí pouze na podkladovém rozdělení pravděpodobnosti, nikoli na významu událostí samých.
Úvod Základní myšlenkou teorie informace je, že „informační hodnota“ předávané zprávy závisí na míře, jak je obsah zprávy překvapivý. Není žádným překvapením, když dojde k události, která je velmi pravděpodobná. Naopak, v případě málo pravděpodobných událostí, je jejich výskyt mnohem informativnější. Například znalost, že určité číslo nevyhraje v loterii, nese velmi malou informaci, protože jakékoli určité číslo téměř určitě nevyhraje. Ale znalost, že určité číslo v loterii vyhraje, má vysokou informační hodnotu, protože informuje o události s velmi nízkou pravděpodobností. Informační obsah (také nazývaný – překvapení) události je rostoucí funkcí převrácené hodnoty pravděpodobnosti události, přesněji . Entropie měří očekávané (tj. průměrné) množství informace obsažené v informaci o výsledku náhodného pokusu. Z toho vyplývá, že vrh kostkou má vyšší entropii než házení mincí, protože každý z výsledků vrhu kostkou má menší pravděpodobnost () než každý z výsledků vrhu mincí ().
Entropie je míra nepředvídatelnosti výsledku, jeho průměrného informačního obsahu. Chceme-li získat intuitivní porozumění těmto termínům, můžeme si představit průzkum veřejného mínění. Takové průzkumy se provádějí, aby se zjistila informace, která není známá. To znamená, že výsledek průzkumu je těžko předpověditelný a provedení průzkumu přináší nějakou novou informaci; to je jen jiný způsob jak říct, že apriorní entropie výsledků průzkumu je velká. Pokud by se stejný průzkum prováděl znovu, krátce po prvním průzkumu, když je výsledek prvního průzkum už známý, bylo by možné výsledek druhého průzkum dobře předvídat, a jeho výsledky sotva obsahují mnoho nové informace; to znamená, že apriorní entropie výsledku druhého průzkumu je relativně malá v porovnání s prvním průzkumem.
Uvažujme vrh mincí. Pokud pravděpodobnost padnutí panny je stejná jako pravděpodobnost padnutí orla, pak entropie vrhu mincí je stejně vysoká jako u libovolného pokusu se dvěma stejně pravděpodobnými výsledky. Výsledek vrhu mincí nelze předpovědět: pokud si máme vybrat, neexistuje žádná průměrná výhoda předvídat určitý výsledek, protože každá předpověď bude správná s pravděpodobností . Takový vrh mincí má jeden bit entropie, protože existují dva možné výsledky se stejnou pravděpodobností, a víme, že výsledek má jeden bit informace. Naproti tomu, vrh mincí, které by měla dvě panny a žádného orla má nulovou entropii, protože při vrhu takovou mincí vždy padne panna a výsledek lze dokonale předpovědět. Libovolná událost se stejně pravděpodobnými výsledky má Shannonovu entropii bit. Podobně každý pokus se třemi stejně pravděpodobnými hodnotami obsahuje (asi 1,58496) bitů informace, protože může nabývat jednu ze tří hodnot.
Pokud budeme anglický text považovat za řetězec znaků, má docela nízkou entropii; to znamená, že je docela dobře předvídatelný. I v případě, že nevíme přesně, jaký znak bude následovat, můžeme si být jisti, že například 'e' bude mnohem obvyklejší než 'z', nebo že kombinace 'qu' bude mnohem obvyklejší než 'q' následované jiným písmenem, a že i kombinace 'th' bude obvyklejší než 'z', 'q' nebo 'qu'. Zbytek slova můžeme často odhadnout z několika prvních písmen. Anglický text má entropii 0,6 až 1,3 bitů na znak zprávy.
Pokud je komprimační schéma bezztrátové – takové, že původní zprávu lze vždy dekomprimovat – pak komprimovaná zpráva obsahuje stejné množství informace jako původní, ale je zakódována méně znaky. Obsahuje tedy více informace na znak (má vyšší entropii). Komprimovaná zpráva má menší redundanci. Shannonova věta o zdrojovém kódování říká, že bezztrátové komprimační schéma nemůže v průměru komprimovat zprávy, aby měly více než jeden bit informace na bit zprávy, ale, že jakoukoli hodnotu menší než jeden bit informace na bit zprávy lze dosáhnout použitím vhodného kódovacího schématu. Entropie zprávy na bit znásobená délkou zprávy je mírou, kolik informace zpráva celkem obsahuje.
Uvažujme, že bychom měli vysílat posloupnosti obsahující 4 znaky 'A', 'B', 'C' a 'D' – například zprávu 'ABADDCAB'. Teorie informace říká, jak spočítat nejmenší možné množství informace, kterou je třeba přenést. Jsou-li všechna 4 písmena stejně pravděpodobná (25 %), není možné najít lepší kódovací schéma (pro binární kanál), než zakódování každého písmene dvěma bity: 'A' například jako '00', 'B' jako '01', 'C' jako '10' a 'D' jako '11'. Pokud se však 'A' objevuje s 70% pravděpodobností, 'B' s 26%, a 'C' i 'D' s 2% pravděpodobností, bylo by možné přiřadit jednotlivým znakům kódy s různou délkou, takže přijetí '1' by znamenalo, že je třeba se podívat na jiný bit pokud žádná posloupnost 2 bitů jedniček už byla přijata. V tomto případě může být 'A' kódované jako '0' (jeden bit), 'B' jako '10' a 'C' a 'D' jako '110' a '111'. Je snadno vidět, že v 70 % případů stačí jeden bit informace, v 26 % případů dvou bitů a pouze ve 4 % případů 3 bitů. Průměrně stačí méně než 2 bity, protože entropie je nižší (kvůli vysoký prevalenci symbolů 'A' následovaných 'B' – současně 96 % znaků). Tento vliv zachycuje výpočet sumy pravděpodobnosti vážené logaritmem míry pravděpodobnosti.
Ze Shannonovy věty také vyplývá, že žádné bezztrátové komprimační schéma nemůže zkrátit úplně všechny zprávy. Pokud některé zprávy vyjdou kratší, alespoň jedna musí vyjít delší kvůli Dirichletově principu. Při praktickém použití to obecně není problém, protože typicky přenášíme pouze určitý typ zpráv, například dokumenty v angličtině nikoli náhodné řetězce znaků, nebo digitální fotografie a nikoli šum, a proto není důležité, že komprimační algoritmus nějaké nepravděpodobné nebo nezajímavé posloupnosti prodlužuje.
Definice náhled|Graf binární entropie (v intervalu <0;1>) Shannon definoval entropii diskrétní náhodné proměnné s možnými hodnotami a pravděpodobnostní funkcí takto:
Pro entropii používá znak (velké řecké písmeno éta), podle Boltzmannovy Η-věty. je operátor střední hodnoty a je informační obsah . je také náhodná proměnná.
Entropii můžeme explicitně zapsat jako
kde je základ použitého logaritmu. V tomto případě se nejčastěji jako základ používá hodnota 2, méně často Eulerovo číslo , nebo 10. Entropie je pro vyjádřena v bitech, pro v jednotkách nazývaných nat a pro v jednotkách nazývaných ban, hartley nebo dit.
Pokud pro nějaké , bere se hodnota odpovídajícího členu nulová, což odpovídá limitě
Můžeme také definovat podmíněnou entropii dvou událostí a , které nabývají hodnot a , vzorcem
kde je pravděpodobnost, že a . Tuto hodnotu chápeme jako množství náhodnosti v náhodné proměnné pro danou hodnotu náhodné proměnné .
Příklad náhled|vpravo|200px|Entropie (tj. střední překvapení) vrhu mincí měřené v bitech vynesené podle poctivosti mince , kde reprezentuje padnutí panny.Entropie je v tomto případě nejvýše 1 bit a předání výsledku vrhu mincí (se dvěma možnými výsledky) vyžaduje průměrně nejvýše 1 bit informace (pro poctivou minci je to přesně 1 bit). Zakódování vrhu poctivou kostkou (6 hodnot se stejnou pravděpodobností) vyžaduje průměrně log26 bitů.
Uvažujme házení mincí se známými, ne nutně poctivými pravděpodobnostmi, že padne panna nebo orel; to lze modelovat Bernoulliho procesem.
Entropie neznámého výsledku dalšího vrhu mincí je nejvyšší, jestliže mince je poctivá (tj. jestliže panna i orel mají stejnou pravděpodobnost 1/2). U poctivé mince je nejobtížnější předpovídat výsledek dalšího vrhu; výsledek každého vrhu mincí přináší celý jeden bit informace. Důvodem je, že
Pokud však víme, že mince není poctivá, ale pravděpodobnosti hodu panny případně orla jsou , příp. , kde , pak je nejistota menší. Při každém vrhu je pravděpodobnější, že padne jedna strana než druhá. Snížení nejistoty je kvantifikováno nižší entropií: každý vrh mincí přináší v průměru méně než jeden bit informace. Jestliže například =0,7, pak
Rovnoměrné rozdělení pravděpodobnosti má maximální nejistotu a tedy maximální entropii. Entropie se pak může pouze snížit z hodnoty odpovídající rovnoměrné pravděpodobnosti. Extrémním případem je, že mince má dvě panny, takže nikdy nemůže padnout orel, nebo dva orly, takže nikdy nemůže padnout panna. Vrh takovou mincí v sobě neobsahuje žádnou nejistotu, žádnou novou informaci, protože výsledek vrhu je předem známý, takže entropie je nulová.