У теорії інформації ентропія Реньї — узагальнення ентропії Шеннона — є сімейством функціоналів, використовуваних як міра кількісної різноманітності, невизначеності або випадковості деякої системи. Названо на честь Альфреда Реньї.
Якщо деяка система має дискретну множину доступних станів , якій відповідає розподіл імовірностей для (тобто — ймовірності перебування системи в станах ), то ентропія Реньї з параметром (при і ) системи визначається як
,
де кутовими дужками позначено математичне сподівання за розподілом ( — ймовірність перебування системи в деякому стані як випадкова величина), логарифм береться за основою 2 (для рахунку в бітах) чи іншою зручною основою (більшою від 1). Основа логарифма визначає одиницю вимірювання ентропії. Так, у математичній статистиці зазвичай використовується натуральний логарифм.
Якщо всі ймовірності , тоді за будь-якого ентропія Реньї . Інакше -ентропія спадає як функція . Причому вищі значення (що прямують до нескінченності) надають ентропії Реньї значення, більшою мірою визначені лише найвищими ймовірностями подій (тобто внесок в ентропію малоймовірних станів зменшується). Проміжний випадок у границі дає ентропію Шеннона, яка має особливі властивості. Нижчі значення (що прямують до нуля), дають значення ентропії Реньї, яке зважує можливі події рівномірніше, менше залежно від їх імовірностей. А при отримуємо максимально можливу -ентропію, рівну незалежно від розподілу (тільки аби ).
Сенс параметра можна описати, кажучи неформальною мовою, як сприйнятливість функціоналу до відхилення стану системи від рівноважного: що більше , то швидше зменшується ентропія за відхилення системи від рівноважного стану. Сенс обмеження полягає в тому, щоб забезпечувалося збільшення ентропії за наближення системи до рівноважного (більш імовірного) стану. Ця вимога є природною для поняття «ентропія». Слід зауважити, що для ентропії Цалліса, яка еквівалентна ентропії Реньї з точністю до незалежного від , відповідне обмеження часто опускають, при цьому для від'ємних значень параметра замість максимізації ентропії використовують її мінімізацію.
Ентропія Реньї відіграє важливу роль в екології і статистиці, визначаючи так звані індекси різноманітності. Ентропія Реньї також важлива в квантовій інформації, її можна використовувати як міру складності. У ланцюжку Гейзенберга ентропію Реньї розраховано в термінах модулярних функцій, що залежать від . Вони також призводять до спектру показників фрактальної розмірності.
Ηα для деяких конкретних значень α
Деякі окремі випадки
при ентропія Реньї не залежить від імовірностей станів (вироджений випадок) і дорівнює логарифму числа станів (логарифму потужності множини ):
.
Цю ентропію іноді називають . Вона використовується, наприклад, у формулюванні принципу Больцмана.
У границі при , можна показати, використовуючи правило Лопіталя, що збігається до ентропії Шеннона. Таким чином, сімейство ентропій Реньї можна довизначити функціоналом
.
Квадратична ентропія, іноді звана ентропією зіткнень, — це ентропія Реньї з параметром :
,
де і — незалежні випадкові величини, однаково розподілені на множині з імовірністю (). Квадратична ентропія використовується у фізиці, обробці сигналів, економіці.
Існує границя
,
яку називають , тому що це найменше значення . Ця ентропія також є виродженим випадком, оскільки її значення визначається тільки найбільш імовірним станом.
Нерівності для різних значень α Два останніх випадки пов'язані співвідношенням . З іншого боку, ентропія Шеннона може бути як завгодно високою для розподілу X із фіксованою min-ентропією.
тому що .
, тому що .
відповідно до нерівності Єнсена .
Розходження (дивергенції) Реньї Крім сімейства ентропій, Реньї також визначив спектр мір розходжень (дивергенцій), які узагальнюють розходження Кульбака — Лейблера. Формули цього розділу записано в загальному вигляді — через логарифм за довільною основою. Тому потрібно розуміти, що кожна наведена формула являє собою сімейство еквівалентних функціоналів, визначених з точністю до сталого (додатного) множника.
Розходження Реньї з параметром , де і , розподілу відносно розподілу (або «відстань від до ») визначається як
або (формально, без урахування нормування ймовірностей)
,
.
Як і розходження Кульбака — Лейблера, розходження Реньї є невід'ємним для .
Деякі окремі випадки
При дивергенція Реньї не визначена, однак сімейство дивергенцій можна довизначити елементом
: мінус логарифм від суми ймовірностей , таких що відповідні .
: відстань Бгаттачар'я (мінус логарифм від коефіцієнта Бгаттачар'я, несуттєвим множником нехтуємо). Це розходження, з точністю до , еквівалентне та , проте на відміну від них не задовольняє нерівності трикутника, а тому не є метрикою в просторі розподілів.
: розходження Кульбака — Лейблера (дорівнює математичному сподіванню відносно розподілу логарифма відношення ймовірностей ).
: логарифм математичного сподівання за розподілом відношення ймовірностей . Це розходження з точністю до монотонного перетворення еквівалентне .
: Логарифм найбільшого відношення ймовірностей .
Чому випадок — особливий Значення , яке відповідає ентропії Шеннона і розходженню Кульбака — Лейблера, є особливим, тому що тільки в цьому випадку можна виділити змінні A і X зі спільного розподілу ймовірностей, такі що виконується
для ентропії, і
для дивергенції.
Останнє означає, що якщо ми шукатимемо розподіл , який зводить до мінімуму розходження деяких основоположних мір , і отримаємо нову інформацію, яка впливає тільки на розподіл , то розподіл не буде залежати від змін .
У загальному випадку розходження Реньї з довільними значеннями задовольняють умовам незаперечності, неперервності та інваріантності відносно перетворення координат випадкових величин. Важливою властивістю будь-яких ентропії і дивергенції Реньї є адитивність: коли і незалежні, з випливає
і
.
Найсильніші властивості випадку , які передбачають визначення умовної інформації і взаємної інформації з теорії зв'язку, можуть бути дуже важливими в інших застосуваннях або зовсім не важливими, залежно від вимог цих застосувань.
Перехресна ентропія Реньї Перехресна ентропія від двох розподілів з імовірностями і () в загальному випадку може визначатися по-різному (залежно від застосування), але має задовольняти умові . Один з варіантів визначення (аналогічну властивість має перехресна ентропія Шеннона):
.
Інше визначення, запропоноване А. Реньї, можна отримати з таких міркувань. Визначимо ефективне число станів системи як середнє геометричне зважене від величин з вагами :
.
Звідси випливає вираз для перехресної ентропії Шеннона
.
Міркуючи аналогічно, визначимо ефективне число станів системи як середнє степеневе зважене від величин з вагами і параметром :
.
Таким чином, перехресна ентропія Реньї має вигляд
.
Легко бачити, що в разі, якщо розподіли ймовірностей і збігаються, перехресна ентропія Реньї збігається з ентропією Реньї. Також при перехресна ентропія Реньї збігається до перехресної ентропії Шеннона. властивість , істинна для перехресної ентропії Шеннона, в загальному випадку не має місця. Перехресна ентропія Реньї може бути як більшою, так і меншою від ентропії Реньї.
Неперервний випадок Для формального узагальнення ентропії Шеннона на випадок неперервного розподілу служить поняття диференціальна ентропія. Цілком аналогічно визначається диференційна ентропія Реньї:
.
Розходження (дивергенція) Реньї в неперервному випадку також є узагальненням розходження Кульбака — Лейблера і має вигляд
.
Визначення перехресної ентропії, запропоноване А. Реньї, в неперервному випадку має вигляд
.
У наведених формулах і — деякі функції густини розподілу ймовірностей, визначені на інтервалі , і покладається , .
Література
OA Rosso EEG analysis using wavelet-based information tools. Journal of Neuroscience Methods 153 (2006) 163—182 Rényi entropy as a measure of entanglement in quantum spin chain: F. Franchini, AR Its, VE Korepin, Journal of Physics A: Math. Theor. 41 (2008) 025302