Дивергенция (расхождение, расстояние) Ку́льбака — Ле́йблера (), РКЛ, информационное расхождение, различающая информация, информационный выигрыш, относительная энтропия () — неотрицательнозначный функционал, являющийся несимметричной мерой удалённости друг от друга двух вероятностных распределенийKullback S., Leibler R.A. On information and sufficiency // The Annals of Mathematical Statistics. 1951. V.22. № 1. P. 79-86., определённых на общем пространстве элементарных событий. Часто применяется в теории информации и математической статистике. Названо в честь американских математиков Соломона Кульбака и , предложивших его в 1951 году.

Определение и интерпретации Расхождение Кульбака — Лейблера распределения относительно (или, условно говоря, «расстояние от до ») обозначается . Первый аргумент функционала (распределение ) обычно интерпретируется как истинное или постулируемое априори распределение, второй (распределение ) — как предполагаемое (проверяемое). Распределение часто служит приближением распределения . Значение функционала можно понимать как количество неучтённой информации распределения , если было использовано для приближения . Данная мера расстояния в теории информации также интерпретируется как величина потерь информации при замене истинного распределения на распределение .

В общем случае, если  — любая мера на , для которой существуют абсолютно непрерывные относительно функции и , тогда расхождение Кульбака — Лейблера распределения относительно определяется как

.

Основание логарифма в этой формуле существенной роли не играет. Его выбор позволяет зафиксировать конкретный вид функционала из семейства эквивалентных функционалов и равносилен выбору единицы измерения расхождения Кульбака — Лейблера (подобно ситуации с вычислением энтропии), поэтому возможно применение логарифма с любым основанием, большим единицы. Другими словами, функционал определён с точностью до положительного постоянного сомножителя. Наиболее употребительными являются натуральный логарифм (по соображениям удобства), а также двоичный логарифм — для измерения расхождения в битах (обычно используется в теории информации). Расхождение Кульбака — Лейблера является безразмерной величиной независимо от размерности исходных случайных величин.

Хотя расстояние Кульбака — Лейблера (РКЛ) часто рассматривается как способ измерения расстояния между вероятностными распределениями, данный функционал не является метрикой в пространстве распределений, поскольку не удовлетворяет неравенству треугольника и не удовлетворяет аксиоме симметричности: . Тем не менее, его инфинитезимальная форма, особенно его гессиан, даёт метрический тензор, который известен как информационная метрика Фишера.

Расстояние Кульбака — Лейблера — это частный случай более общего класса расхождений, которые называются f-расхождения, а также частный случай класса расхождений Брэгмана. РКЛ — это единственное расхождение вероятностей, которое принадлежит и тому и другому классу.

РКЛ изначально было представлено Соломоном Кульбаком и Ричардом Лейблером в 1951 году как направленное расхождение между двумя распределениями. Это обсуждается в тексте Кульбака «Информационная теория и статистика».

Расстояние Кульбака — Лейблера иногда также интерпретируют как информационный выигрыш, достигнутый, если использовано вместо . Иногда для РКЛ используют вносящие путаницу названия относительная энтропия относительно (обозначается ) или перекрёстная энтропия.

Существуют различные соглашения относительно того, как читать обозначение. Часто его называют просто расхождением или расстоянием между и , однако это не позволяет передать фундаментальную асимметрию в соотношении. Иногда говорят «расхождение из (относительно) » или, условно говоря, «расстояние из в » (обычно в контексте относительной энтропии или информационного выигрыша). При этом распределение интерпретируется как истинное.

Частные определения и определения через производную Радона—Никодима Для дискретных вероятностных распределений и с числом элементарных событий расхождение Кульбака — Лейблера распределения относительно распределения (или «расстояние от до ») определяется как:

.

Другими словами, это математическое ожидание логарифмической разности между вероятностями и , где математическое ожидание берётся по распределению . РКЛ определено, только если , для всех (абсолютная непрерывность). Всякий раз, когда , вклад -го члена интерпретируется как ноль, потому что .

Для -мерных абсолютно непрерывных распределений и расстояние Кульбака — Лейблера задаётся выражением

, где и  — функции плотности распределений и соответственно, определённые на интервале .

В более общем смысле, если и  — вероятностные меры на множестве , и абсолютно непрерывна относительно , тогда РКЛ от до определено как

,

где  — это производная Радона — Никодима относительно , и при условии, что выражение справа существует. Эквивалентно это может быть записано как

.

Использование производной Радона — Никодима служит формальным средством записи этих выражений, однако не раскрывает их содержательный смысл.

Функционал дивергенции Кульбака — Лейблера является безразмерным, однако его значения могут иметь различные единицы измерения. Так, если логарифмы в этих формулах берутся по основанию 2, то дивергенция (она же — информация, с точки зрения теории информации) измеряется в битах; если по основанию e (с натуральным основанием), то дивергенция (информация) измеряется в натах. Большинство формул, содержащих РКЛ, сохраняют смысл независимо от основания логарифма.

Характеризация Артур Хобсон доказал, что расстояние Кульбака — Лейблера — это единственная мера разницы между вероятностными распределениями, которая удовлетворяет некоторым желательным свойствам, являющимся каноническими расширениями для появляющихся в часто используемых характеризациях энтропии. Следовательно, взаимная информация — это единственная мера взаимной зависимости, которая подчиняется некоторым связанным условиям, так как она может быть определена в терминах РКЛ.

Существует также Байесовская характеризация расстояния Кульбака — Лейблера.

Мотивация В теории информации теорема Крафта — Макмиллана устанавливает, что любую непосредственно декодируемую схему кодирования для кодировки сообщения для идентификации одного значения , можно рассматривать как представление неявного распределения вероятностей над , где  — длина кода для в битах. Поэтому РКЛ может быть интерпретировано как ожидаемая дополнительная длина сообщения с нулевой отметки, которая должна быть передана, если код, который является оптимальным для данного (неправильного) распределения , используется по сравнению с использованием кода на основе истинного распределения .

, где  — перекрестная энтропия и ,  — энтропия .

Существует связь между РКЛ и «функцией скорости» в теории больших отклонений.

Свойства Расстояние Кульбака — Лейблера всегда неотрицательно, — это результат, который известен как неравенство Гиббса, почти всюду. Энтропия , таким образом, задаёт минимальное значение перекрестной энтропии , ожидаемое число дополнительных битов, требуемых, когда используется код, основанный на , а не на . Поэтому РКЛ представляет собой ожидаемое число дополнительных битов, которые должны быть переданы, чтобы определить значение , если используется код, соответствующий распределению вероятностей , а не «истинному» распределению . Расстояние Кульбака — Лейблера не симметрично: . Расстояние Кульбака — Лейблера остается строго определённым для непрерывных распределений и, кроме того, инвариантно относительно замены переменных. Например, если сделана замена переменной на переменную , тогда, поскольку и , РКЛ может быть переписано в виде: , где и . Несмотря на предположение, что преобразование было непрерывным, это не необходимо в данном случае. Это также показывает, что РКЛ задаёт величину согласованную с размерностью, так как если  — размерная переменная, то и также имеют размерность, так как является безразмерной величиной. Тем не менее, выражение под логарифмом остаётся безразмерным, как и должно. Поэтому расстояние Кульбака — Лейблера можно рассматривать, в некотором смысле, как более фундаментальную величину, чем некоторые другие свойства в теории информации (такие как собственная информация или энтропия Шеннона), которые могут стать неопределёнными или отрицательными для недискретных вероятностей. РКЛ аддитивна для независимых распределений во многом таким же образом, как энтропия Шеннона. Если являются независимыми распределениями с совместным распределением и, аналогично, , то

Расстояние Кульбака — Лейблера для многомерного нормального распределения Допустим, что мы имеем два многомерных нормальных распределения, со средними и с (обратимыми) матрицами ковариаций . Если два распределения имеют одинаковую размерность k, то РКЛ между распределениями следующее:

Логарифм в последнем члене должен быть взят по основанию e, так как все члены, кроме последнего, являются натуральными логарифмами выражений, которые являются либо любыми множителями функции плотности, либо, в противном случае, возникают естественным образом. Поэтому уравнение даёт результат, измеряемый в натах. Целиком разделив это выражение на loge2, получим распределение в битах.

Отношение к метрикам Можно было бы назвать РКЛ «метрикой» в пространстве вероятностных распределений, но это было бы некорректно, так как оно не симметрично, и не удовлетворяет неравенству треугольника. Все-таки, будучи предварительной метрикой, она порождает топологию в пространстве вероятностных распределений. Более конкретно, если - это последовательность распределений такая, что , тогда говорят, что . Из неравенства Пинскера следует, что — , где последнее нужно для сходимости по вариации.

Согласно Альфреду Реньи (1970, 1961).

Информационная метрика Фишера Однако, расстояние Кульбака — Лейблера и напрямую связано с метрикой, а именно с информационной метрикой Фишера. Предположим, что у нас имеются вероятностные распределения P и Q, они оба параметризованы одинаковым (возможно многомерным) параметром . Рассмотрим теперь два близких значения и , таких что параметр отличается только на небольшое число от параметра . А именно, разлагая в ряд Тейлора вплоть до первого порядка, имеем (используя соглашение Эйнштейна)

,

где  — малое изменение в j-м направлении, а соответствующая скорость изменения распределения вероятностей. Так как РКЛ имеет абсолютный минимум, равный 0, при P=Q, то есть то РКЛ имеет второй порядок малости по параметрам . Более формально, как и для любого минимума, первая производная расхождения обращается в ноль

и разложение Тейлора начинается со второго порядка малости

,

где Гессиан должен быть неотрицательным. Если позволить изменяться (и опуская подиндекс 0), то Гессиан определяет (возможно, вырожденную) метрику Римана в пространстве параметра , называемую информационной метрикой Фишера.

Отношение к другим величинам информационной теории Многие другие величины информационной теории могут быть интерпретированы как применение расстояния Кульбака — Лейблера к частным случаям.

Собственная информация является РКЛ вероятностного распределения из символа Кронекера, представляющего определённость в том, что  — то есть число дополнительных бит, которые должны быть переданы для определения , если только вероятностное распределение доступно для получателя, не факт, что .

Взаимная информация -

является РКЛ произведения двух маргинальных вероятностных распределений из совместного вероятностного распределения  — то есть ожидаемое число дополнительных битов, которые должны быть посланы, чтобы определить и , если они закодированы, используя только их маргинальное распределение вместо совместного распределения. Эквивалентно, если совместная вероятность известна, это ожидаемое число дополнительных битов, которые должны быть в среднем отправлены для определения , если значение уже не известны получателю.

Энтропия Шеннона -