Em teoria da informação, o teorema de Sanov dá um limite à probabilidade de observar uma sequência atípica de amostras a partir de uma dada distribuição de probabilidade.
Definição Considere um conjunto de distribuições de probabilidade sobre um alfabeto e considere uma distribuição arbitrária sobre , sendo que pode ou não estar em . Suponha que são retiradas amostras independentes e identicamente distribuídas a partir de , representadas pelo vetor . Além disto, deseja-se saber se a distribuição empírica, , das amostras cai no interior do conjunto — formalmente, escreve-se . Então,em que é uma abreviação para e é a projeção de informação de sobre .
Em palavras, a probabilidade de retirar uma distribuição atípica é proporcional à divergência de Kullback–Leibler da distribuição verdadeira à distribuição atípica. No caso em que consideramos um conjunto de possíveis distribuições atípicas, há uma distribuição atípica dominante, dada pela projeção de informação.
Além disto, se for o fecho de seu interior,
Referências
Categoria:Teoremas probabilísticos Categoria:Teoria da informação