A inferência bayesiana (IB) consiste na avaliação de hipóteses pela máxima verossimilhança, uma decorrência imediata da fórmula de Bayes, e é fundamental para métodos computacionais relacionados à inteligência, mineração de dados, ou linguística histórica, sejam eles métodos bayesianos de aprendizado de máquina (AM) ou não-bayesianos. A IB é uma extensão da estatística bayesiana e da inferência estatística para a inteligência computacional (IC), onde é sinônimo de aprendizado bayesiano (ou aprendizado de máquina bayesiano), e encontra aplicações em domínios igualmente genéricos, e.g. na biomedicina, computação em nuvem, pesquisa de algoritmos, criatividade computacional. Os resultados, em termos de classificação e regressão, por exemplo, são em muito casos satisfatórios e até difíceis de serem aprimorados, de propriedades convenientes e bem conhecidas, e constituem baselines.
As implementações básicas são adaptadas a muitos casos elaborados de IA, em detrimento do valor como baseline, mas muitas vezes com modelos já bem desenvolvidos e teoria estabelecida e profunda. Além da utilidade singular para implementações e lida com problemas reais (através da modelagem e da consideração dos dados), a IB é a simples aplicação do teorema de Bayes a hipóteses h e evidências e, i.e. do relacionamento entre as probabilidades condicionais e absolutas:
Teoria básica
Na IB, o aprendizado se dá, paradigmaticamente, por , ou seja, pela escolha da hipótese de máxima verossimilhança , consideradas as evidências (e.g. os dados) e as hipóteses de interesse. Encontrar a hipótese que satisfaz a Equação () é uma técnica chamada MLE (maximum likelihood estimation), i.e. estimação/inferência/aprendizado por maximização da verossimilhança (likelihood).
MLE e MAP
Embora a técnica fundamental da IB seja a MLE, a outra condicional entre e e h também é usada para inferência:
Esta é a MAP (maximum a priori probability), i.e. probabilidade anterior máxima, obtida sem exploração do teorema de Bayes. Faz parte da teoria básica da IB como paradigma da inferência (ou aprendizado de máquina) frequentista e pelo contraste com a MLE.
A MAP pode até mesmo ser chamada de IB por simplicidade do discurso e consideração dos fundamentos. Além disso, vantagens da MLE são ponderáveis com a simplicidade da MAP.
Interpretação fundamental A associação probabilística de uma (ou mais) hipótese(s), isolada(s), aos dados é a inferência frequentista (veja MAP). Já a consideração da distribuição de probabilidade das hipóteses, condicionadas às evidências (e.g. dados), em um espaço de hipóteses de interesse, possibilita uma escolha fundamentada e eficiente de uma (ou mais) hipótese(s), e é o procedimento adotado na MLE de forma bastante direta, e é o aspecto fundamental da IB que a torna relevante para a teoria e prática de reconhecimento de padrões e da teoria da decisão, e canônica na consideração e construção de sistemas de inteligência computacional, mesmo de computação natural em que métodos de bioinspirados são contrastados com a IB.
Nomenclatura mínima Na Equação (), p(h) é chamada probabilidade anterior (ou a priori), p(e | h) é chamada condicional anterior (ou verossimilhança), e p(h | e) de condicional posterior (ou a posteriori). Seu cálculo se dá através da função de verossimilhança, e a MLE é, essencialmente, uma maximização de verossimilhança. Contraste/conflito com a função de verossimilhança da MLE é o critério principal para considerar não-bayesiano um modelo de inferência. Note que o nome MAP, máxima probabilidade anterior, conflita com o nome de p(h), probabilidade anterior, pois a MAP maximiza p(x|h) e não p(h) (Veja também distribuições marginais e os artigos de probabilidade e estatística).
Probabilidade VS verossimilhança A rigor, na IB, uma probabilidade quantifica o quão plausível é uma evidência futura (e.g. um evento futuro), enquanto uma verossimilhança quantifica o quão plausível é uma hipótese ao serem consideradas todas as evidências ocorridas. Em geral, a verossimilhança fornece uma quantidade para ser associada à crença de que a hipótese é verdadeira.
Evento VS evidência Na IB, uma evidência é um evento utilizado como conhecimento anterior/prévio, para probabilidades e condicionais anteriores, como em p(e|h) da Equação ().
Frequentista VS bayesiano A utilização da fórmula de Bayes insere suposições sobre o modelo na estatística de aprendizado, implica abordagem bayesiana e oposta por sua não utilização à abordagem frequentista. Por extensão, o adjetivo frequentista designa ênfase em contagens, simplismo e até fragilidade dos estimadores; o adjetivo bayesiano designa ênfase na fórmula de Bayes e estimadores consistentes.
Diz-se que algo (e.g. uma pessoa, teoria, modelo, resultado) é bayesiano se contempla abordagens bayesianas, em especial decorrências imediatas da fórmula de Bayes, que relaciona probabilidades condicionais.
Por extensão, a utilização da MAP pode ser considerada o paradigma frequentista, que desconsidera o conhecimento a priori que está implícito no sistema ao obter uma estatística de referência (e.g. p-value). Já a MLE explicita o uso da fórmula de Bayes de forma simples e é o paradigma básico da AM bayesiana (junto ao Bayes ingênuo quando as evidências são i.i.d.). Mas a conceitualizaçao é mais profunda: um (método, pesquisador, raciocício, etc) bayesiano idealmente considera todas as hipóteses, e na prática considera isso no modelo explicitamente, dando pesos para as hipóteses conforme mais rováveis dado conhecimento prévio (dados, conhecimento especialista, etc).
Para a consideração de através de conceitos imprecisos (e.g. tamanho), são úteis recursos da Inteligência Computacional, especialmente de lógica difusa.
Desenvolvimento da teoria através de exemplos Há diversos algoritmos para IB, e as propriedades destes sistemas, em geral dos mais básicos, são fundamentais para a inteligência computacional e o aprendizado de máquina. Ambas a derivação de modelos e a observação epistomógica serão aqui exemplificados através de exemplos.
Regra de Cromwell Note que . Também , ou seja, convicções ou hipóteses rígidas/fortes são insensíveis à evidência.
Falácia do apostador A IB contradiz a falácia do apostador de duas formas distintas. Primeiro, se a moeda é considerada imutável, p(h) e p(e|h) não mudam, portanto é a mesma. Neste caso, se ela não era honesta (i.e. p(h) não constante), o resultado tenderá a repetir o mesmo resultado, e não o resultado oposto, como acredita o apostador. No caso da moeda que pode se modificar, a Equação () (e.g. através do BI) implica um aumento da verossimilhança do mesmo resultado, e, novamente, não no resultado oposto.
Uniformidade de verossimilhança em contexto sem ruído Considere uma evidência e idealizada, e.g. valores infinitamente precisos. Considere também hipóteses que descrevem fielmente e, e.g. , onde é algum parâmetro ou dado utilizado pela hipótese para explicar ou predizer . Segue que:
Onde é o conjunto das hipóteses que satisfazem e perfeitamente. Ou seja, em um contexto sem ruído, cujas hipóteses representam fielmente as evidências, e em que as hipóteses são igualmente prováveis, a verossimilhança das hipóteses é constante e inversamente proporcional ao espaço hipóteses cabíveis. Além disso, note que se é constante/uniforme, , ou seja, se as hipóteses são igualmente prováveis, MLE e MAP se equivalem, e a abordagem bayesiana encontra a frequentista. Dito de outra forma, a MAP é o caso específico da MLE em que as hipóteses são igualmente prováveis (i.e. em que constante). A especificação de por critérios imprecisos encontra suporte e paralelo da lógica difusa (fuzzy).
Mínimos quadrados e regressão linear (casos específicos da IB) Considere evidências IID e nenhuma pista sobre qual hipótese é a mais provável (i.e. constante). Segue diretamente da Equação () que:
Suponha agora , i.e. considere como hipóteses as médias de distribuições normais com desvio padrão qualquer. Segue que:
Ou seja, é encontrada a média que minimiza a soma dos quadrados. Note que pode ser , e.g. e escolhido , caso em que será realizado o método dos mínimos quadrados) sob . Se a IB realiza uma regressão linear, contexto em que a hipótese expressa a crença de que os a maioria da informação importa pouco.
Em resumo, a MLE pode ser considerada uma generalização do gradiente, e realiza a minimização da distância euclidiana se assumida relação gaussiana das hipóteses com relação aos dados. Se há dados, e assumida a hipótese de normalidade, a média resulta da minimização da distância quadrática (erro quadrático). Este resultado dá suporte teórico ao uso da minimização da distância quadrática, regressão linear, backpropagation em perceptrons (veja redes neurais artificiais).
Para o gradiente descendente, a minimização do erro quadrátido (em geral) implica supor que o sinal (função original, determinística) foi corrompido por um ruído gaussiano. Outra conclusão é que o pesquisador/desenvolvedor está potencialmente obtendo resultados pouco ou nada apropriados (diz-se "errados") com estes métodos se as premissas não forem verdadeiras: há um fenômeno real (potencialmente determinístico) subjacente às evidências; há corrupção na observação/transmissão, resultando em evicências com uma componente fiel ao fenômeno e outra a um ruído gaussiano; as evidências são variáveis IID.
Pode-se assumir qualquer outro modelo de ruído (e.g. exponencial, em lei de potência, uniforme), e a hipótese de máxima verossimilhança muito dificilmente será dada pela mesma minimização quadrática.
Aplicação para regressão ou classificação em contexto ruidoso Seja conjunto de evidências que refletem ocorrências de algum fenômeno ou propriedade de forma imperfeita, e.g. a pesos de uma população refletem a altura dos indivíduos, ou medidas obtidas com um paquímetro de peças cujo tamanho real é .
Considere um cenário bastante geral:
p(h) é constante, i.e. as hipóteses possuem a mesma probabilidade de ocorrência.
, ou seja, é feita a hipótese de que as evidências são o resultado de alguma função f aplicada ao fenômeno verdadeiro somada a um erro .
Segue pronto de constante, da Equação (), e de que se as evidências são IID:
, onde pode ser e.g. qualquer distribuição, de forma que seja bem definida.
Assim, pode-se encontrar f, pois reflete em através de e se:
e forem dados disponíveis, os erros forem IID e gerados e.g. por uma distribuição .
Note que se e IID, a MLE resulta na regressão linear, caso exposto na seção anterior.
Detector de SPAM Considere uma caixa de emails com 1000 mensagens, 200 delas spam. Um modelador decide fazer um algoritmo bem simples para obter um resultado inicial de referência para um detector de spam (h_0 = não spam, h_1 = spam). Seleciona então, como evidência, as palavra: viagra (100, 0), valium (70, 20), coursera (2, 120), edX (1, 100), hoje(20, 250), marcadas com o número de ocorrências dentre os emails que são (spam, não spam). Seguindo a MLE, observa a obtenção da função de verossimilhança:
Equação onde o lado direito pode ser obtido através dos dados:
o mesmo para as outras palavras.
Assim, em posse de um email em que , e não com as outras palavras, pode-se obter (i.e. a hipótese mais verossimilhante) através do maior valor: .
Este mesmo modelo pode ser ampliado para utilizar mais palavras, potencialmente todas as encontradas em algum conjunto de emails e considerado o corte de Luhn. Para otimização, podem ser mantidas apenas as palavras mais relevantes, i.e. em que .
Note que as palavras/evidências foram interpretadas como Variáveis aleatórias independentes e identicamente distribuídas|variáveis IID]], o que é falso já que viagra e valium são correlacionadas, portando não são independentes, e a distribuição das palavras não é idêntica, por exemplo. Mesmo assim, o método é considerado sólido e informativo, e a MLE com evidências IID é o BI, um dos algoritmos mais tradicionais na IB.