Unha función de verosimilitude (normalmente chamada simplemente verosimilitude) mide o éxito co que un modelo estatístico explica un conxunto de datos observados calculando a probabilidade de ter xerado tales datos a partir de distintos valores dos parámetros do modelo. Constrúese a partir da distribución de probabilidade conxunta da variable aleatoria que (presuntamente) xerou as observacións. Deste xeito, ao avaliarse nos datos observados convértese nunha función que depende unicamente dos parámetros do modelo.
Na estimación por máxima verosimilitude, o argumento que maximiza a función de verosimilitude serve como un estimador puntual do parámetro descoñecido. Ademais, a través da información de Fisher podemos obter unha aproximación da precisión do estimador.
Pola contra, na estatística bayesiana, o interese céntrase no inverso da verosimilitude, coñecido como a probabilidade posterior do parámetro en función dos datos observados, que se calcula mediante a aplicación do teorema de Bayes.
Definición A función de verosimilitude, dada en función dun parámetro (ou vector de parámetros), defínese de xeito diferente segundo traballemos con distribucións de probabilidade discretas ou continuas. Dada unha función de densidade ou unha función de masa de probabilidade
onde é a realización da variable aleatoria , a función de verosimilitude é
tamén escrita habitualmente como .
Noutras palabras, cando se ve como unha función de con fixo, é unha función de densidade de probabilidade, e cando se ve como unha función de con fixado, é unha función de verosimilitude. No paradigma frecuentista, a notación adoita evitarse empregando no seu lugar ou para indicar que é unha cantidade descoñecida, pero fixa, en lugar dunha variable aleatoria condicionante.
A función de verosimilitude non especifica que a probabilidade de que sexa o verdadeiro parámetro, dada a mostra observada . Tal interpretación é un erro común, con potenciais consecuencias desastrosas (ver a falacia da frecuencia base).
Distribución de probabilidade discreta Sexa é unha variable aleatoria discreta con función de masa de probabilidade dada polo parámetro . A función
como función de é a función de verosimilitude, dada a observación , da variable aleatoria . En ocasións a probabilidade de "obter o valor de dado o valor do parámetro " escríbese como ou . A verosimilitude é a probabilidade de que un posible resultado se observe cando o valor verdadeiro do parámetro é , equivalente á masa de probabilidade sobre . É importante sinalar que isto non define unha densidade de probabilidade sobre , que está fixo. Tampouco debe de confundirse a verosimilitude, , coa probabilidade a posteriori de dado , .
Exemplo miniatura|Figura 1. Función de verosimilitude () para a probabilidade de que unha moeda caia de "cara" (sen coñecemento da fidelidade da moeda), dado que se ten observado "HH"
miniatura|Figura 2. Función de verosimilitude () para a probabilidade de que unha moeda caia de "cara" (sen coñecemento da fidelidade da moeda), dado que se ten observado "HHT"
Consideremos un modelo estatístico simple, tirar unha moeda ao aire. Este vén dado por un único parámetro que determina a probabilidade de que a moeda caia coa "cara" para arriba ao lanzar a moeda (H). Polo tanto, . Se a moeda fose "legal" (non estivese trucada), teríamos que .
Lanzamos a moeda dúas veces e en ambas sae cara ("HH"). Supoñendo que cada lanzamento é i.i.d., entón a probabilidade de observar "HH" é
Do mesmo xeito, a función de verosimilitude de observar "HH" supoñendo é
o que non equivale a dicir que . Para poder calcular dita probabilidade teríamos que empregar o teorema de Bayes
Se agora consideramos unha moeda trucada, con . Entón a probabilidade de obter cara dúas veces é
Polo tanto, . Na Figura 1 represéntase o resultado de calcular, para cada valor de , a verosimilitude correspondente. Mentres, na Figura 2 realízase unha representación similar para o caso no que a moeda teña caído dúas veces de cara e unha de cruz ("HHT").
Distribución de probabilidade continua Sexa unha variable aleatoria cunha seguindo unha distribución de probabilidade (absolutamente) continua con función de densidade . A función
como función de , é a función de verosimilitude (de , dada a observación ). Igualmente, cabe recalcar que non define unha función de densidade ou de masa de probabilidade sobre .
Relación entre a verosimilitude e as funcións de densidade de probabilidade O uso da densidade de probabilidade para especificar a función de verosimilitude ten a seguinte xustificación. Dada unha observación , a verosimilitude no intervalo , onde é constante, e vén dada por . Obsérvase que
xa que é positivo e constante. Tense que
onde é a función de densidade de probabilidade. Empregando o primeiro teorema fundamental do cálculo chégase a que
Logo, tendo en conta todo o anterior
Chegando a que: , polo que maximizar a densidade de probabilidade en leva a que esteamos maximizando a verosimilitude dada a observación .
Razón de verosimilitudes e verosimilitude relativa
Razón de verosimilitudes Unha razón de verosimilitudes é o cociente de calquera dúas verosimilitudes, dado por
A razón de verosimilitudes é un concepto central da análise estatística. A lei da verosimilitude establece que o grao no que uns datos (considerados como unha evidencia) sosteñen un valor dun parámetro respecto doutro mídese a través da razón de verosimilitudes.
Na inferencia frecuentista, a razón de verosimilitudes é a base para un test estatístico, levando o nome de test de razón de verosimilitudes. Pódese comprobar, mediante o lema de Neyman-Pearson, que este é o test máis potente para comparar dúas hipóteses simples dado un nivel de significación. Moitos outros tests poden verse como tests de razón de verosimilitudes ou como aproximacións dos mesmos. A distribución asintótica da razón de log-verosimilitudes, considerada como un test estatístico, vén dada polo teorema de Wilks.
A razón de verosimilitude tamén ten unha importancia capital na inferencia bayesiana, onde se coñece como o factor de Bayes, que se usa na regra de Bayes. Expresada en termos de probabilidades, a regra de Bayes afirma que as probabilidades "posteriores" de dúas alternativas, e , dado un evento , son as probabilidades "a priori", multiplicadas pola razón de verosimilitude. Isto é
A razón de verosimilitude non se usa directamente nas estatísticas baseadas no AIC. En cambio, o que se usa é a verosimilitude relativa dos modelos (que se trata máis abaixo).
Na medicina baseada na evidencia, as razóns de verosimilitude empréganse nas probas diagnósticas para avaliar o valor de realizas.
Función de verosimilitude relativa
Dado que o valor real da función de verosimilitude depende da mostra, a miúdo é conveniente traballar cunha medida estandarizada. Supoñamos que a estimación de máxima verosimilitude para o parámetro é . As verosimilitudes relativas doutros valores de pódense obter comparando as verosimilitudes deses outros valores coa verosimilitude de . A verosimilitude relativa de defínese como
Así, a verosimilitude relativa é a razón de verosimilitude (mencionada anteriormente) co denominador fixo . Isto correspondese coa estandarización da verosimilitude para que teña un máximo de 1.
Rexión de verosimilitude Unha rexión de verosimilitude é o conxunto de todos os valores de cuxa verosimilitude relativa é maior ou igual a un limiar determinado. En termos de porcentaxes, unha «rexión de de verosimilitude para defínese como
Se consta dun único parámetro real, unha rexión de verosimilitude de % normalmente comprenderá un intervalo de valores reais. Se a rexión comprende un intervalo, entón chámase «intervalo de verosimilitude».
Os intervalos de verosimilitude, e máis xeralmente as rexións de verosimilitude, empréganse para a estimación de intervalos dentro das estatísticas baseadas na verosimilitude: son similares aos intervalos de confianza nas estatísticas frecuentistas e aos intervalos de cribles nas estatísticas bayesianas. Os intervalos de verosimilitude interprétanse directamente en termos de verosimilitude relativa, non en termos de probabilidade de cobertura (frecuentismo) ou probabilidade posterior (bayesianismo).
Dado un modelo, os intervalos de verosimilitude pódense comparar cos intervalos de confianza. Se é un único parámetro real, entón, baixo certas condicións, un intervalo de verosimilitude do 14,65% (aproximadamente unha verosimilitude de 1:7) para será o mesmo que un intervalo de confianza do 95% (probabilidade de cobertura de 19:20). Nunha formulación lixeiramente diferente, axeitada para o uso de log-verosimilitudes (véxase o teorema de Wilks), o estatístico de contraste é o dobre da diferenza nas log-verosimilitudes e a distribución de probabilidade do estatístico de contraste é aproximadamente unha distribución khi cadrado con graos de liberdade iguais á diferenza dos graos de liberdade dos dous modelos (polo tanto, o % intervalo de verosimilitude é o mesmo que o intervalo de confianza ao 95,4%; asumindo que a diferenza nos graos de liberdade é 1).
Verosimilitude para eliminar parámetros molestos En moitos casos, a verosimilitude é función de máis dun parámetro, pero o interese céntrase na estimación dun só, ou como máximo duns poucos deles, considerándose os demais parámetros molestos. Desenvolvéronse varios enfoques alternativos para eliminar estes parámetros molestos, de xeito que unha verosimilitude pódese escribir como función só do parámetro (ou parámetros) de interese: os principais son as probabilidades de perfil, condicionais e marxinais. Estas abordaxes tamén son útiles cando unha superficie de verosimilitude de alta dimensionalidade precisa ser reducida a un ou dous parámetros de interese de xeito que sexa posible representala graficamente.
Verosimilitude perfil É posible reducir as dimensións concentrando a función de verosimilitude para un subconxunto de parámetros, expresando os parámetros molestos como funcións dos parámetros de interese e substituíndoos na expresión da función de verosimilitude. En xeral, para unha función de verosimilitude que depende do vector de parámetros que se pode dividir en , e onde se pode determinar explicitamente unha relación , a concentración reduce a carga computacional do problema de maximización orixinal.
Por exemplo, nunha regresión lineal con erros distribuídos normalmente, , o vector de coeficientes podería particionarse en (e, en consecuencia, a matriz de deseño ). Maximizar con respecto a produce unha función onde o valor óptimo séguese de
Empregando este resultado, o estimador de máxima verosimilitude para pódese derivar como
onde é a matriz de proxección de . Este resultado coñécese como o teorema de Frisch-Waugh-Lovell.
Dado que graficamente o procedemento de concentración é equivalente a cortar a superficie de verosimilitude ao longo da crista de valores do parámetro de molestia que maximiza a función de verosimilitude, creando un perfil isométrico da función de verosimilitude para un dado, o resultado deste procedemento tamén se coñece como verosimilitude perfil. Ademais de representarse graficamente, a probabilidade de perfil tamén se pode usar para calcular intervalos de confianza que a miúdo teñen mellores propiedades en mostras pequenas que os baseados en erros estándar asintóticos calculados a partir da verosimilitude total.
Verosimilitude condicional Ás veces é posible atopar un estatístico suficiente para os parámetros molestos de forma que, condicionando respecto deste estatístico, se obteña unha verosimilitude que non depende dos parámetros molestos.
Produtos de probabilidades A probabilidade, dados dous ou máis eventos independentes, é o produto das probabilidades de cada un dos eventos individuais: