Собственная информация — статистическая функция дискретной случайной величины.
Собственная информация сама является случайной величиной, которую следует отличать от её среднего значения — информационной энтропии.
Для случайной величины , имеющей конечное число значений:
собственная информация определяется как
Единицы измерения информации зависят от основания логарифма. В случае логарифма с основанием 2 единицей измерения является бит, если используется натуральный логарифм — то нат, если десятичный — то хартли. Основание логарифма Единица измерения Количество информации о падении монеты «орлом» вверх 2 бит бит e нат ната 10 хартли хартли
Собственную информацию можно понимать как «меру неожиданности» события — чем меньше вероятность события, тем больше информации оно содержит.
Свойства собственной информации
Неотрицательность: . при , т. е. предопределённый факт никакой информации не несёт. Монотонность: , если . Аддитивность: для независимых справедливо .
См. также Информационная энтропия Взаимная информация
Литература
Категория:Теория информации