В теории информации предельная плотность дискретных точек — это корректировка формулы Клода Шеннона для дифференциальной энтропии.
Она была сформулирована Эдвином Томпсоном Джейнсом, чтобы исправить проблемы первоначального определения дифференциальной энтропии.
Определение Шеннон изначально записал следующую формулу энтропии непрерывного распределения, известную как дифференциальная энтропия: . Здесь и далее основание логарифма не указано для сохранения общности: основание логарифма зависит от единицы измерения, чаще всего это биты и тогда используется основание , если, например, информация измеряется в натах, то будет использоваться натуральный логарифм.
В отличие от формулы Шеннона для дискретной энтропии, эта не была выведена математически (Шеннон просто заменил интегралом символ суммы в дискретном варианте) и ей не хватает многих свойств, которые делают дискретную энтропию полезным измерением неопределённости. В частности, она не инвариантна для замены переменных и может быть отрицательной. Также она имеет ошибку в размерностях, поскольку должна быть безразмерной, должно иметь единицу из чего следует, что аргумент логарифма не является безразмерным, как того требуется.
Джейнс считал, что формула непрерывной энтропии должна быть выведена через предел дискретных распределений с возрастающей плотностью . Предположим, что у нас есть множество из дискретных точек таких, что предел их плотность приближается к функции , называемой «инвариантной мерой»: , где означает количество элементов в множестве.
Джейнс вывел из этого следующую формулу для непрерывной энтропии, которую он считал верной: .
Зачастую при написании опускается часть с , поскольку часто значение бесконечно. Поэтому распространённое определение: .
Когда неясно, следует ли опустить , можно написать: .
Обратите внимание, что в формуле Джейнса — это плотность вероятности. Для любого конечного , представляет собой равномерную плотность над квантованным непрерывным пространством, используемым в сумме Римана . В пределе — это непрерывная предельная плотность точек в квантовании, используемая для отображения непрерывной переменной .
Предположим, есть формат представления числа, принимающий возможных значений, распределённых по . Тогда (если достаточно велико, что непрерывная аппроксимация применима) — это дискретная энтропия переменной в этой кодировке. Она равна среднему количеству бит, необходимых для передачи информации, и не превосходит . Можно думать о как о количестве информации, полученной от знания, что переменная распределена по и неравномерно распределена по возможным квантованным значениям, как было бы в случае, если бы она была распределена по . — это в действительности отрицательная дивергенция Кульбака — Лейблера от до (), о чём можно думать как об информации, полученной от знания, что переменная, ранее считавшаяся распределённой по на самом деле распределена как .
Формула непрерывной энтропии Джейнса инвариантна относительно замены переменных, при условии, что и преобразуются одинаково, поэтому называют «инвариантной мерой». Это разрешает множество сложностей, возникающих при применении формулы непрерывной энтропии Шеннона. Джейнс сам опускал , когда это не относилось к его работам (распределения с максимальной энтропией) и наличие бесконечного слагаемого мешает вычислениям. К сожалению, этого не избежать, если уровень квантования может быть взят произвольно точным, что происходит в случае непрерывного предела. Обратим внимание, что по нашему определению (без ) всегда будет неположительным, поскольку KL-дивергенция всегда неотрицательна.
В случае, если постоянна на каком-то интервале размером и практически равна нулю вне этого интервала, тогда предельная плотность дискретных точек тесно связана с дифференциальной энтропией : .
Примечания
Дальнейшее чтение