Энтропийная скорость случайного процесса — в теории информации — величина, показывающая скорость возрастания энтропии при увеличении длины последовательности случайных величин, для которых она рассчитывается.
Формула Энтропийная скорость является пределом совместной энтропии случайных величин , поделённым на , при стремлении к бесконечности:
,
если предел существует. Альтернативно связанной величиной является:
.
Величины и соответствуют двум различным понятиям скорости энтропии. Первая — это энтропия на символ случайных величин, а вторая — условная энтропия последней случайной величины, учитывая прошлые. Для стационарных случайных процессов выполняется равенство . Энтропийную скорость можно рассматривать как общее свойство случайных эргодических источников, то есть свойство асимптотической равнораспределенности.
Энтропийную скорость можно использовать для оценки сложности случайных процессов. Она используется в различных приложениях от описания сложности языков, слепого разделения сигналов до оптимизации преобразователей и алгоритмов сжатия данных. Например, критерий максимальной энтропийной скорость может быть использован для отбора признаков в машинном обучении.
Примеры Рассмотрим последовательности из случайных величин, принимающих значений. Если значения случайных величин равновероятны, то, так как количество различных последовательностей равно , получаем , и энтропийная скорость равна бит на символ.
Если независимые одинаково распределённые случайные величины, то .
Если независимые, но не одинаково распределённые случайные величины, то . Тогда , однако этот предел может не существовать.
Энтропийная скорость для марковских цепей Для стационарной цепи Маркова, определённой на счётном числе состояний, заданных матрицей переходов , энтропийная скорость задаётся выражением:
,
где является решением системы уравнений:
для всех .
Если цепь Маркова неприводима и непериодична, то она имеет единственное стационарное распределение на состояниях, и любое начальное распределение стремится к стационарному распределению при . В этом случае, даже если начальное распределение не является стационарным распределением, скорость энтропии, которая определяется в терминах долгосрочного поведения, равна .
См. также Марковский источник информации
Примечания
Литература
Категория:Теория информации Категория:Энтропия Категория:Марковские модели Категория:Скорость