A teoria matemática da informação estuda a quantificação, armazenamento e comunicação da informação. Ela foi originalmente proposta por Claude E. Shannon em 1948 para achar os limites fundamentais no processamento de sinais e operações de comunicação, como as de compressão de dados. No entanto, o termo “informação”, em geral, é usado como um substantivo abstrato de massa para denotar qualquer quantidade de dados, código ou texto armazenado, enviado, recebido ou manipulado em qualquer meio. A história do termo “informação” quanto dos vários conceitos a ele associados é complexa e o significado do termo “informação” varia em diferentes contextos.
Definição Em um artigo divisor de águas, publicado por Claude E. Shannon intitulado "A Mathematical Theory of Communication", que apresentou uma forma de medir informação. Agora essa teoria tem várias aplicações nas mais diversas áreas, incluindo inferência estatística, processamento de linguagem natural, criptografia, neurociência computacional, evolução e computação quântica.
A medida chave em teoria da informação é a entropia. A entropia é o grau de aleatoriedade, de indeterminação que algo possui. Quanto maior a informação, maior a desordem, maior a entropia. Quanto menor a informação, menor a escolha, menor a entropia. Dessa forma, esse processo quantifica a quantidade de incerteza envolvida no valor de uma variável aleatória ou na saída de um processo aleatório. Por exemplo, a saída de cara ou coroa de uma moeda honesta (com duas saídas igualmente prováveis) fornece menos informação (menor entropia) do que especificar a saída da rolagem de um dado de seis faces (com seis saídas igualmente prováveis). Algumas outras medidas importantes em teoria da informação são informação mútua, informação condicional e capacidade de um canal.
Aplicações de tópicos fundamentais da teoria da informação incluem compressão sem perdas de dados (como ZIP), e compressão com perdas de dados (como MP3 e JPEG).
Essa teoria é considerada uma das fundadoras das ciências da comunicação. Um dos criadores da teoria da informação, Weaver, defende que comunicação é o processo de transmissão plena de uma ideia. E para isso a informação deve solucionar três níveis de problemas: técnico, semântico e de influência. Enquanto a maior parte das pessoas acredita que o principal aspecto da comunicação é a interpretação (nível semântico) ou o efeito (problema de influência), a teoria matemática da comunicação traz as questões técnicas para o centro da discussão. Esse nível envolve tudo que diz respeito à precisão na transmissão de informação que parte do emissor e vai até o receptor através de um sinal, seja de rádio, telefone ou televisão. Sua importância se justapõe à dos outros dois níveis de problemas, porque eles dependem inevitavelmente da eficácia na transmissão das mensagens.
O campo está na intersecção da matemática, estatística, ciência da computação, física, neurobiologia e engenharia elétrica. Seu impacto é crucial, por exemplo, no sucesso das missões da sonda Voyager no espaço, no entendimento de buracos negros e da consciência humana, como na teoria de integração da informação (do inglês, Integrated Information Theory) proposta por Giulio Tononi.
Definição técnica da informação O termo "informação" especifica (sob o contexto da teoria da informação) o valor-surpresa de determinado conteúdo (ou mensagem) que consegue diminuir a quantidade de incerteza que existe em algum meio físico anteriormente à chegada do conteúdo informativo. Colocando de outro modo, informação especifica o quanto a ignorância ou incerteza previamente existente foi reduzida em um meio assim que este recebeu a mensagem informativa. Usualmente, a consequência da mensagem informativa é tornar a incerteza previamente existente em certeza.
Por exemplo, suponhamos que você precise identificar um certo indivíduo em uma lista composta por 30 pessoas. Você somente pode receber respostas do tipo Sim ou Não (respostas binárias). Perguntas como "É homem ou mulher?" e "Tem cabelo loiro?" me dão informações que diminuirão minha incerteza sobre qual indivíduo preciso achar. Em outras palavras, após eu encontrar o ser que estou procurando, a incerteza previamente existente se transformará em certeza.
A informação consiste em um estado (ou configuração) particular dos elementos que compõem um determinado meio que tem a capacidade de afetar esse próprio meio ou qualquer outro. Isso é o mesmo que dizer que a informação é uma propriedade que um meio pode possuir, e designa sobretudo os estados que podem resultar em algum efeito útil para alguma finalidade.
Contexto histórico O marco que estabeleceu a teoria da informação e chamou imediatamente a atenção mundial foi o artigo A Mathematical Theory of Communication escrito por Claude Shannon de julho a outubro de 1948.
Antes deste artigo, algumas abordagens teóricas ainda que limitadas vinham sendo desenvolvidas nos laboratórios da Bell, todas implicitamente assumindo eventos de igual probabilidade. O artigo Certain Factors Affecting Telegraph Speed de Harry Nyquist escrito em 1924 contém uma seção teórica que quantifica inteligência e a velocidade de transmissão pela qual ela pode ser transmitida por um sistema de comunicação, estabelecendo a relação , onde é a velocidade de transmissão da inteligência, é o número de níveis de tensão para cada intervalo de tempo, e é uma constante. Em 1928, Ralph Hartley publicou o artigo Transmission of Information, onde aparece a palavra informação como uma medida da capacidade do destinatário para distinguir diferentes sequências de símbolos, levando à expressão , onde e representam, respectivamente, o número de símbolos possíveis e o número de símbolos na transmissão. Inicialmente, a unidade natural da transmissão foi definida como sendo o dígito decimal, sendo, posteriormente, renomeada para hartley em uma clara homenagem. Alan Turing em 1940, durante a 2ª Guerra Mundial, aplicou ideias similares como parte da análise estatística para decifrar a criptografia da máquina alemã Enigma.
Boa parte da matemática por trás da teoria da informação com eventos de diferentes probabilidades foi desenvolvida para os campos da termodinâmica por Ludwig Boltzmann e J. Willard Gibbs. As conexões entre as entropias da informação e termodinâmica, incluindo as importantes contribuições de Rolf Landauer na década de 1960, são exploradas na Entropia termodinâmica e teoria da informação.
No artigo seminal de Shannon, introduz-se pela primeira vez um modelo quantitativo e qualitativo da comunicação, apresentando-a como um processo estatístico subjacente à teoria da informação. Shannon inicia seu artigo dizendo
"O problema fundamental da comunicação é reproduzir em um dado ponto, exata ou aproximadamente, uma mensagem produzida em outro ponto."
Com este artigo vieram à tona os conceitos de entropia da informação e redundância de uma fonte, e sua aplicação no teorema de codificação da fonte; de informação mútua e capacidade de um canal com ruído, incluindo a promessa de comunicação sem perdas estabelecida no teorema de codificação de canais-ruidosos; da lei de Shannon-Hartley para a capacidade de um canal Gaussiano; do bit - uma nova forma de enxergar a unidade fundamental da informação.
Variáveis aleatórias discretas Antes de prosseguir é importante definir a notação utilizada para as variáveis aleatórias discretas. Dado uma variável aleatória , que pode assumir valores, podemos representá-la como:
Onde é o i-ésimo valor que pode ser assumido pela variável. Cada um dos valores podem acontecer com probabilidade , não necessariamente iguais. A distribuição de probabilidades de é representada como:
Nesse caso , com , representa a probabilidade do valor acontecer. Esse tipo de distribuição pode ser representada com um gráfico de barras como na figura a seguir. centro|miniaturadaimagem|320x320px|Distribuição de probabilidades de uma variável discreta. Para uma dada distribuição de probabilidades a condição é cumprida.
Dado duas variáveis aleatórias e , cada uma podendo assumir quatro valores, logo e , com distribuições de probabilidade e . A distribuição conjunta das variáveis pode ser determinada medindo-se a frequência de ocorrência dos pares , com .
Medindo o número de ocorrências dos pares , em uma amostragem de tamanho suficientemente grande, é possível determinar as probabilidades de cada par dividindo o número de ocorrências de cada um deles por . Dando a distribuição de probabilidades conjunta (do inglês, joint probability distribution).
A distribuição conjunta pode ser por um histograma tridimensional, como o mostrado a seguir. centro|miniaturadaimagem|356x356px|Distribuição de probabilidade conjunta das variáveis X e Y.
A partir da distribuição conjunta de , é possível obter as distribuições de ou de (chamadas de distribuições marginais), através de um processo chamado marginalização. Por exemplo, se quisermos obter o valor da distribuição para então devemos fazê-lo somando por todos os valores de para :
Fazendo isso fixando cada um dos possíveis valores de $X$, obtemos a distribuição marginal :
Para obter a distribuição marginal basta seguir o mesmo procedimento, fixando , em cada um de seus possíveis valores:
As grandezas da teoria da informação A teoria da informação é baseada na teoria de probabilidades e estatística. Ela se preocupa com medidas de informação das distribuições de probabilidade associadas com variáveis aleatórias. Grandezas importantes da teoria da informação são a entropia, uma medida de informação de uma única variável aleatória, e informação mútua, uma medida de informação em comum entre das variáveis aleatórias.
Na formulação das grandezas da teoria da informação, escolheu-se utilizar bases logarítmicas (para manter propriedades como a aditividade da entropia), mais especificamente a entropia de Shannon é definida com logaritmos na base 2. A unidade utilizada para quantificar informação é o bit (baseado no logaritmo base 2), muito embora outras existam, como o nat (baseada no logaritmo natural), e o hartley (baseado no logaritmo na base 10).
Tendo citado as aplicações da teoria da informação, seu contexto histórico de surgimento e mencionado as grandezas envolvidas, chegou o momento de discutir mais a fundo alguns dos conceitos bases da teoria, começando pela unidade de informação, o bit.
Escolhendo destinos e o bit de informação A fim de entender de forma intuitiva o que significa dizer 1 bit de informação, imagine a seguinte situação, um viajante, decide sair de sua cidade, no ponto marcado com a letra "A" na figura abaixo e chegar ao seu destino no ponto "D". centro|miniaturadaimagem|420x420px|Caminho percorrido pelo viajante. Em cada bifurcação ele recebia a instrução esquerda (0) direita (1) até alcançar seu destino final. O caminho entre "A" e "D" possui várias bifurcações (como os pontos "B" e "C"). Assumindo que o viajante desconhece o caminho, em cada cidade que passar (representada pelas bifurcações) ele pede uma informação, perguntando se deve seguir à direita ou à esquerda. Na figura anterior, dizer que ele deve seguir a esquerda é o mesmo que mostrar o dígito binário 0 a ele, e um sinal de que deve seguir a direita o mesmo que mostrar o dígito 1.
Dessa forma, como é possível ver pela figura, ele terá que pedir informação nos pontos "A", "B" e "C". Note que independente do destino () o número de perguntas para alcançá-lo (nesse caso) é sempre três. Ou seja, escolher entre oito destinos requer três perguntas:
Note que o o expoente do número dois na equação anterior é igual ao número de perguntas feitas. Define-se então que para escolher entre um dos oito possíveis destinos é necessária uma quantidade de informação igual a .
Aplicando logaritmo de base dois na expressão anterior, temos: